Die Stadt Mühlhausen entstand bei der seit dem 10. Jahrhundert nachweisbaren Königspfalz, die an der Stelle einer Furt über die Unstrut errichtet worden war, auf die verschiedene Verkehrswege zuführten. Diese Lage beförderte die rasche Entwicklung der Stadt als bedeutendes Handelszentrum. Der Nachweis einer Münzstätte des 12. Jahrhunderts ist Indiz für entstehende Geldwirtschaft, die einen Markt voraussetzt. Der Untermarkt als Hauptmarkt der Altstadt entwickelte sich zum wirtschaftlichen Zentrum mit der Blasii-Kirche als Mittelpunkt. Die Bauern des Umlandes versorgten die Einwohner mit Lebensmitteln und Fernhändler vermittelten den Austausch wertvoller Handwerksprodukte. Wochen- und Jahrmärkte prägten das Marktgeschehen. In der im Jahr 1304 erstmals erwähnten Tuchlaube im Nordosten des Marktes wurden die wertvollen Stoffe gehandelt. Hier befand sich auch der Töpfermarkt. Mit dem Bau der Stadtmauer im frühen 13. Jh. führten drei der vier Haupttore zum Untermarkt. Die Höfe der Klöster Volkenroda (Nr. 17) und Beuren (Nr. 7) sowie der des Deutschen Ordens in der Altstadt (Kristanplatz 1) mit der Annenkapelle im Südwesten des Platzes deuten bereits auf eine repräsentative Bebauung. Der ehemalige Ordenshof wurde 1715/1716 als Superintendentur unter Einbeziehung der Annenkapelle neu errichtet. Als Mühlhausen im Jahr 1802 Preußen angegliedert wurde, beanspruchten die neuen Herren die Tuchlaube als ihre Hauptwache. Der Blasii-Kirchhof wurde aufgelassen und als Exerzierplatz gepflastert, wodurch der Untermarkt erheblich nach Westen erweitert wurde.

Die repräsentativen Häuser, die heute den Untermarkt prägen, wurden in ihrer Mehrheit im 18. Jh. erbaut. Optisch sticht das schmale, sich weit in die Brunnenkreßstraße erstreckende Fachwerkhaus aus dem Jahr 1631 (Nr. 15) hervor, in dem bis heute wie schon seit 1415 an dieser Stelle eine Bäckerei zu Hause ist. Den östlichen baulichen Abschluss des Marktes bildet das 1999/2000 erbaute Hauptgebäude der Sparkasse Unstrut-Hainich. Im Jahr 2006 wurde der Marktplatz umgestaltet und der Lauf des Popperöder Baches wieder geöffnet. Ein Denkmal für den in Mühlhausen geborenen Johann August Röbling, der in den USA als Erbauer von Drahtseilhängebrücken berühmt wurde, ist 2007 mit Spenden Mühlhäuser Bürger und Firmen errichtet worden. Ein solches Engagement ermöglichte auch die Schaffung Denkmals für Johann Sebastian Bach 2009 an der Blasii-Kirche, seiner einstigen Wirkungsstätte. Ihm zu Ehren wurde der westliche Teil des Untermarktes 1950 als Bach-Platz benannt.