Auf dem westlichen Ilmufer zwischen Römischem Haus, den Parkhöhlen und dem Stadtschloss richtete der Bauhaus-Meister Johannes Itten sein Maleratelier im Tempelherrenhaus im Park ein, das 1786 aus einem alten Gewächshaus zu einem „Salon im Park“ für den Hof umgestaltet wurde. Beim Bomben­angriff im Februar 1945 wurde das Gebäude im neugotischen Stil zerstört. Den Namen erhielt es durch vier lebensgroße Tempelherrenstatuen aus Holz, die Martin Gottlieb Klauer anfertigte. Später wurden sie durch Figuren aus Sandstein ersetzt, die Überreste sind heute noch erkennbar. Goethe ließ im Jahr 1816 einen Turm, Fenster und ein spitzbogenes Eingangstor ergänzen. Das Tempelherrenhaus diente auch als Konzertsaal, unter anderem spielte hier schon Franz Liszt.