Im Jahre 1208 erhielten die Grafen von Schwarzburg als Pfand die bisherige Reichsstadt Saalfeld. Die Turmburg, deren Bezeichnung „Hoher Schwarm“ 1593 erstmals nachgewiesen wurde, nutzten die Schwarzburger allerdings kaum als Residenz, hier saßen vielmehr ihre Burgmannen, Mitglieder des niederen Adels.

Um 1300 erfolgte ein Neubau der Burg, dessen Reste die heutige Burgruine darstellen. Ende des 14. Jahrhunderts wurde Saalfeld an den Markgrafen Friedrich IV. von Meißen verkauft. Die Amtshauptmänner der straff organisierten sächsischen Verwaltung zogen ein.

200 Jahre später verlor die Burg ihre Funktion als Wehrbau. Zur Bezeichnung „Hoher Schwarm“ erzählt man sich bis heute folgende Legende: Ein Priester ließ eine weiße Taube mit einem silbernen Glöckchen fliegen. Sie sollte durch die Wahl ihres Ruhesitzes den künftigen Standort der Burg bestimmen. Die Taube ließ sich auf einer Eiche am Saaleufer nieder. Als der mächtige Baum gefällt wurde, flog aus seinem Stamm ein Bienenschwarm hoch in die Lüfte. So soll der Name „Hoher Schwarm“ entstanden sein.

Seit dem 16. Jahrhundert ist das Gebäude Ruine.