Um den Burghügel hatten sich die Häuser Rastenbergs geschart und die Bewohner Schutz gesucht. Scherbenfunde bestätigten die Vermutung einer vorgeschichtlichen Wallburg an diesem Standort.

Der Bau der Raspenburg auf dem Burgberg fällt wahrscheinlich auf die Jahre 1070-1078. Über die Historie der Burg gibt es aus den ersten Jahrzehnten nur widersprüchliche Angaben. Offen bleibt, dass die Erbauer der Burg die Söhne Ludwig des Bärtigen, Ludwig der Springer oder dessen Bruder Heinrich Raspe (d. h. der Rauhe), waren. Ab dem Jahr 1252 sind die Besitzer der Raspenburg bezeugt. In dem ersten schriftlichen Zeugnis über Rastenberg aus diesem Jahr werden zwei Brüder, «Heinrich und Albert von Raspenberck», genannt.

Die Burg lag nahe der „Via Regia“, der Handelsstraße Erfurt-Naumburg, und verkam im Laufe der Zeit zu einem üblen Raubritternest. Sie wurde deshalb 1321 durch Landgraf Friedrich (den Gebissenen) mithilfe der Mühlhäuser und Erfurter Kaufleute zerstört.

Heute ist vom Gemäuer nur noch ein Rest des Bergfriedes zu sehen. Er misst 32 m im Umfang und hat eine 2,5 m starke Mauer.