První kamenný hrad zde vystavěl rod Vohburgů počátkem 12. století na místě předchozího slovanského hradiště, kterýnechává německý král a římský císař Friedrich I. Barbarossa v témže století přestavět na falc.

V 15. století se hrad dočkal rozšíření o hospodářskou budovu, která se stala osudnou pro důstojníky generalissima Albrechta z Valdštejna,kteří zde byli během hostiny dne 25. února 1634 zavražděni. Sám Albrecht se nedostavil, přesto se mu stal osudným Pachelbelovský dům, ve kterém byl ubytován. Ten se nachází v dolní části náměstí a dnes slouží jako muzeum. V 18. stol.byl hrad dvakrát obléhán a poničen a po následném požáru města v 19. století se změnil ve zříceninu. Dnes hrad užívá Krajské muzeum Cheb. Nachází se zde archeologická expozice a výstava o historii kamnářství. Černá věž je postavenaz lávových kamenů, pocházejících ze sopky Komorní hůrka nedaleko odtud.