Die Burg und die Kaiserpfalz wurden erstmals 967 und 974 in Urkunden von König Otto I. erwähnt. Von dieser Zeit an bis weit ins 13. Jahrhundert hinein haben viele Herrscher in der Kaiserpfalz und der Burg Unterkunft gefunden. Das bedeutendste historische Ereignis fand am 8. März 1198 statt, als Friedrich Barbarossas Sohn Philipp von Schwaben zum König gewählt wurde. Die Bürger von Mühlhausen, die nach mehr Autonomie strebten, ließen die Burg 1256 vollständig niederreißen. Einige der Steine eines Rundturms wurden zum Ausbau des Chors der Marienkirche verwendet, und einige der letzten Reste der Burg im Boden wurden entfernt und wiederverwendet, als eine örtliche Brauerei 1851 Bierkeller baute. An die ehemalige Festung erinnern Straßennamen in der Nähe und das 1998 eröffnete Einkaufszentrum Burggalerie. Es dauerte eine Weile, bis der König den Bürgern die gewaltsame Zerstörung der Burg im Jahr 1256 verziehen hatte.

Schließlich schenkte Heinrich VII. das Gelände 1310 dem nahe gelegenen Zisterzienserkloster Volkenroda, das es acht Jahre später an die Stadt Mühlhausen abtreten musste. In der Nähe der ehemaligen Burg befand sich der jüdische Friedhof, der bereits 1417 urkundlich erwähnt wurde und möglicherweise schon vor 1349 existierte. Der Friedhof wurde 1871 geschlossen und seine Grabsteine auf den neuen jüdischen Friedhof verlegt, um Platz für die Verbreiterung der Straße zu schaffen, die die Altstadt mit dem neu eröffneten Bahnhof verbindet.