Nach dem großen Stadtbrand 1517 erwarb der Ritter Georg von Holbach die Brandstätte und ließ 1521-1522 das heutige Schlösschen unter Verwendung eines Teiles der noch stehenden Grundmauern des Vorgängerbaues und eines Wehrturmes der Stadtmauer erbauen.

Das früher gewöhnlich „Schlösschen“ genannte Bauwerk stellt ein reich gegliedertes Gebäude im Stil der Frührenaissance dar. Charakteristisch sind die sieben reich gegliederten vierzonigen Ziergiebel, welche die Fassaden elegant auflockern. An der Südwestecke der Hofseite des Gebäudes befindet sich ein Erker, dessen Brüstung durch stilisiertes, spätgotisches Maßwerk ornamental verziert ist. Das reich gegliederte Portal an der Südseite mit Spitzbogen und Baldachinkapitellen zeigt hierbei noch spätgotisches Formengut, während die Verwendung von Sitznischen, gebildet durch vergrößerte Basen und das Aussparen von Gewändepfeilern, bereits zum Gestaltungsprinzip der Renaissance gehören.

Im Jahr 2006 erfolgte die Neugestaltung der Gartenanlage am Schlösschen Kitzerstein; heute befindet sich hier die Musikschule der Stadt.