An dieser Stelle könnte der Ursprung Calos (Kahla) liegen. Das Wort „calo“ bedeutet althochdeutsch „nackt, unbelaubt und kahl“.

Die Burg stand auf einem mächtigen Sandsteinfels. Die Fläche war, im Gegensatz zu der waldreichen Umgebung, kahl. Im Grafenkrieg um 1345 wurde die Burg gestürmt, vernichtet und nicht wieder aufgebaut. Heute hat sie ein eigenes Flair mit schön sanierten Häusern.