Das 
Alte Amtsgericht bzw. 
Novalishaus wird in der Tennstedter Chronik erstmals als Kreisamt dem Jahr 1657 zugeordnet.
Dieses Kreisamt wurde weit über die Grenzen Tennstedt’s bekannt, als der aus Merseburg stammende Coelestin August Just im Jahr 1773 seinen Dienst als Kreisamtmann in diesem Hause antrat.
Kreisamtmann Just war für die damalige Zeit ein hochgebildeter, jedoch auch feinfühliger Jurist. Er war dafür bekannt, schwierige Angelegenheiten vorbildlich und gerecht zu lösen, auch spezielle Aufträge, die weit über sein Amt hinausgingen. Bereits um 1790 war das Kreisamt zu Tennstedt Sitz der Obersten Gerichtsbehörde des kursächsischen Thüringen.
Dieses Amt erkor sich der junge Friedrich Freiherr von Hardenberg zur Ausbildungsstätte und zu seinem ersten Wirkungskreis, da er bereits in Jena das Fach Jura studierte.
1794 bis 1796 erfolgte seine Ausbildung im kursächsischen Kreisamt zum Verwaltungsfachmann. Just war sein Lehrer und väterlicher Freund.
“
Ich sollte sein Lehrer und Führer werden, aber er wurde mein Lehrer.“
So äußerte sich Just über Hardenberg und lobte ihn für seine Gewissenhaftigkeit und Leichtigkeit, mit denen der Schüler die ihm übertragenen Arbeiten erledigte.
1794 beendete Friedrich Freiherr von Hardenberg seine Ausbildung bei Just. Nach den Befreiungskriegen gegen Napoleon und der Zuordnung Tennstedt’s zu Preußen bemühte sich König Friedrich Wilhelm III. um den bekannten Juristen, beließ ihn in dem Amtshaus und ernannte ihn zum Ersten Regierungsrat in Erfurt. Weiterhin verschaffte er dem Amtmann samt Haus einen größeren Wirkungskreis.
Noch während der Zeit des Kreisamtmanns wurde sein ehemaliger Zögling bekannt als 
„Novalis“.
Novalis gilt als hervorragender Dichter der Romantik. Ihm zu Ehren wurde im Jahr 1894 eine Gedenktafel am ehemaligen Kreisamt angebracht. Das neue Amtsgericht in der Bahnhofstraße löste das ehemalige Kreisamt als Gerichtssitz ab. Später wurde es zu Wohnzwecken umgebaut.
Heute bietet das Gebäude dem Betrachter einen wenig einladenden Anblick. Wieder im Besitz der Stadt Bad Tennstedt laufen derzeit erste Vorbereitung zur umfassenden Sicherung und Sanierung des Gebäudes.