Die heilige Anna war seit vielen Jahrhunderten auf dem nach ihr benannten Annaberge. Das Gnadenbild der heiligen Anna, das in einer sehr schönen Kapelle aufbewahrt und verehrt wurde, musste nach Struth übertragen werden. Denn die Gutsbesitzer untersagten 1854 die großen Prozessionen, nachdem 1811 das Frauenkloster Zella aufgehoben wurde. 1870 wurde dann die Kapelle abgerissen. Nach dem 2. Weltkrieg wurde das Gut enteignet und in Bauernhöfe aufgeteilt, die, wie damals üblich, der Landwirtschaftlichen Genossenschaft angehörten.

Alljährlich am Annentag, dem 26. Juni, findet ein Gemeindefest auf der Festwiese Annaberg statt. Nicht nur die Bewohner von Annaberg, sondern auch zahlreiche Besucher aus Ortschaften der Umgebung ehren damit noch heute die heilige Anna.