Schon Ende des 17. Jahrhunderts stand, unweit der heutigen 14. Station des Kreuzweges von Bodensee zum Höherberg, eine Kapelle, die der hl. Mutter Anna geweiht war. 1850 wurde die Josefskapelle aufgrund ihrer Baufälligkeit neu errichtet. Heute befindet sich das Gnadenbild des heiligen Josef im Seitenschiff der Pfarrkirche gemeinsam mit einem restaurierten Bild der heiligen Anna, das seinen ursprünglichen Platz in der alten Kapelle am Höherberg hatte.
Seit 1723 ist die Josefswallfahrt überliefert und somit die älteste und bekannteste Josefswallfahrt in Deutschland.