Hinter dem Schloss Altenstein gibt es einen Felsen, auf dem man über Wege und Treppen hinaufsteigen kann. Oben steht als bekrönender Abschluss eine neogotische Ritterkapelle. Diese ist aus verschiedenen Richtungen gut sichtbar, sodass sie den Wanderer bereits aus der Ferne anzieht. Seit alters her befinden sich auf Bergen oftmals geweihte Plätze. Auch diese Kapelle ist als Sinnbild für einen Tempel der Tugend auf dem Berg zu verstehen. Der Weg nach oben ist ein Weg zur Tugend und steht für den Lebensweg und das Lebensziel des Menschen. Darüber hinaus waren einzelne Mitglieder der herzoglichen Familie zeitweise bei den Freimaurern aktiv. Auch diese Gemeinschaft verwendeten häufig das Motiv des Tempels auf dem Berg. Am Fuß des Felsens befindet sich eine Höhle. Hier eröffnen sich dem Weisheitssucher Naturkenntnisse, die in der Erde verborgen sind. Wenn er später die Höhle verlässt, strebt er nach oben zur Kapelle. Auf dem ersten Absatz teilt sich der Weg. Diese Gabelung steht dafür, dass der Lebensweg nicht immer geradlinig verläuft. Der Sucher muss sich jedoch entscheiden, wie er weitergeht, denn nur ein Weg führt zum rechten Ziel! Am Ziel angekommen, steht er vor der Ritterkapelle, die für mittelalterliche Tugenden wie Rechtgläubigkeit und Rittertum steht. Gleichzeitig verband der Bauherr Herzog Georg I. mit ihr auch die Freimaurerei, welche er selbst als junger Mann ausübte. Auch bei den Freimaurern spielte das Rittertum eine wichtige Rolle. Außerdem ist die Kapelle – ebenso wie der Bonifatiusfelsen – ein Ausdruck der romantischen Begeisterung für das Mittelalter, die im 19. Jahrhundert allgemein vorherrschte.