Die Parkanlage An der Burg erstreckt sich auf einer Fläche von 10.600 m² vor den Toren des mittelalterlichen Stadtkerns. Sie stand einst unter Wasser, denn zwischen Burggraben und Stadtmauer befand sich bis ins frühe 19. Jahrhundert einer von mehreren Fischteichen. Diese wurden zunächst verfüllt und später zu Wiesen und Grünanlagen umgestaltet.

Hier steht unter anderem der älteste Ginkgo-Baum der Stadt: mit einer Höhe von 23 m und einem Stammumfang von über 3,60 m. Im Herzen des Parks war einst ein Kriegerdenkmal für den Krieg 1870/71 zu finden. Heute pflanzt die Stadt dort jedes Jahr die schönsten saisonalen Blumen und Stauden.