Im Jahre 1962 wurde von der katholischen Gemeinde Rudolstadt das Grundstück – Edelhofstraße 7 – käuflich erworben. Nach zähen Verhandlungen wurde 1963 die Baugenehmigung erteilt zum Umbau der Scheune in einen Gottesdienstraum (die Mauern der Scheune mussten erhalten bleiben und so wurde die Kirche in die Scheune hineingebaut).
Am 28. August 1966 wurde durch den Weihbischof Hugo Aufderbeck aus Erfurt die feierliche Weihe der Kirche vorgenommen. Für den Altar konnten 2 Blöcke bayrischer Granit erworben werden, die eigentlich für ein großes Siegesdenkmal nach dem 2. Weltkrieg bei Fürstenberg an der Oder gedacht waren. Als Altarreliquie befindet sich im Altar eingemauert ein Stück des Gewandes von Don Bosco (Don Bosco war jener begnadete Heilige, der in der 2. Hälfte des 19. Jahrhunderts Großes geleistet hat in der Kinder- und Jugendarbeit Italiens).
Da in Schwarza durch das Chemiefaserkombinat viele Arbeiter ihren Wohnsitz hatten, haben die damaligen Gemeindemitglieder sich den heiligen Josef zum Kirchpatron erwählt. Sein Festtag ist der 1. Mai, an dem Josef als Mann der Arbeit verehrt wird also: „Josef der Arbeiter“.
Inzwischen ist die Kirche schon des öfteren renoviert worden. Bei der letzten gründlichen Renovierung erhielt die Kirche ein neues Dach, einen neuen Eingangsbereich, eine neue Heizung und einen kleinen Turm mit Glocke.