Der wohl prominenteste Besucher des Hauses am Herderplatz 16 war Herzog Carl August, der dort seine langjährige Mätresse Caroline Jagemann regelmäßig besuchte. Die schöne und talentierte Opernsängerin wurde im Jahr 1797 von Goethe an das Weimarer Hoftheater bestellt. Unter Duldung seiner Ehefrau Herzogin Luise kaufte Carl August seiner Geliebten das repräsentative Haus neben der Stadtkirche St. Peter und Paul. Das Gebäude blickt auf eine lange Geschichte zurück. Um 1200 wurde es erstmals als „Deutschritterhaus“ urkundlich erwähnt. Mitte des 16. Jahrhunderts erhielt es die heutige Renaissance-Fassade.