Das Kirchengebäude „Zu unserer lieben Frauen“, wurde in der heutigen äußeren Gestalt 1587 errichtet, 1634 bis auf das Mauerwerk zerstört und im Zeitraum von 1648 bis 1651 neu hergerichtet. Noch heute finden sich viele Spuren aus jener Zeit, wie Brandreste und feuerkonservierte Lebensmittel, auch ein Münzschatz und vor einigen Jahren sogar ein verschütteter Zeitgenosse gleich hinter dem Torbogen am Eingang der Burganlage. Die Kirche befindet sich auf dem Burgberg und verdankt seine isolierte Lage zum Teil künstlichen Felsarbeiten. Der tiefe Graben an der Nordseite ist ein manuell angelegter Halsgraben. Durch diesen ist das Terrain von der angrenzenden Anhöhe getrennt. Der Aufgang liegt an der Südwestseite.
Die historische Kirchenburg von Walldorf brannte am 3. April 2012 aus. Orgel und Altar wurden vollständig vernichtet. Das Dach des Kirchenschiffes stürzte ein und der Glockenturm war danach stark einsturzgefährdet. In den nachfolgenden jahren wurde sie wieder aufgebaut und 2019 neu eröffnet.