1840 weihte die jüdische Gemeinde die Kleine Synagoge ein. Sie nutzte sie jedoch nur 44 Jahre, bis 1884, als Gotteshaus, da die Gemeinde im 19. Jahrhundert stark anwuchs. Sie baute die Große Synagoge am heutigen Juri-Gagarin-Ring und verkaufte die Kleine Synagoge an einen Kaufmann. Ihm diente das Haus als Lager und Produktionsgebäude. 1918 baute die Stadt Wohnungen ein. In den 1980er Jahren wuchs das Interesse am jüdischen Erbe, sodass die Stadt die Baugeschichte der Synagoge erforschen und das Gebäude sanieren ließ. Bauforscher fanden die Mikwe sowie den Toraschrein und die Frauenempore. So zeigt sich der Betsaal heute in nahezu ursprünglichem Zustand. Die Kleine Synagoge dient heute als multikulturelle Begegnungsstätte, die sich insbesondere der deutsch-jüdischen Verständigung verpflichtet fühlt. Sie zeigt zudem eine Ausstellung, die über das jüdische Leben in Erfurt im 19. und 20. Jahrhundert informiert.