Pověst říká, že se tu v roce 1424 zastavil na pivu Jan Žižka, když táhl se svými vojsky na Přibyslav. Žižka ale nebyl jediný, kdo Panský dům navštívil a nechal po sobě historickou stopu.

V létě roku 1912 zde strávil tři týdny Jaroslav Hašek jako host rodiny Kubánků, tehdejších nájemců hostince. Ti se nakonec slavného spisovatele, velkého bohéma a neplatícího hosta nemohli zbavit. Přízeň literáta může být příjemná, ale jen po omezenou dobu. Manželé Kubánkovi se rozhodli posadit nakonec spisovatel do vlaku a odeslat z města, ale spisovatel vystoupil z vlaku na druhé straně a opět se do Panského domu vrátil. Nakonec ho manželé Kubánkovi osobně ve vlaku doprovodili až do Havlíčkova Brodu, aby měli jistotu, že se už nevrátí a přestane je vyjídat.

Svůj pobyt v Chotěboři zvěčnil Hašek v povídkách Zrádce národa v Chotěboři, Okresní soud v Maliboři, Jak je to s rodištěm Ignáta Herrmanna a Posvícení v Křivici. Některé z nich byly napsány přímo v restauraci Panský dům.

Panský dům sloužil i jako centrum chotěbořského kulturního života. Po požáru ve druhé polovině 19. století byly I. patře provedeny stavební úpravy tak, že zde vznikl poměrně velký kulturní sál, kde se konala divadelní představení, hudební produkce, přednášky, taneční zábavy a plesy. Sál ale neměl stálé jeviště, nýbrž jeviště skládací, stojící na dřevěných kozách. Vstup herců byl z levé strany sálu, a to po přístavných schůdkách na vrzající prkna, která osvětlovaly petrolejové lampy zavěšené na drátech. A v těchto bídných podmínkách zde hrál se souborem společnosti Jana Pištěka ve svých šestadvaceti letech později slavný herec, tragéd, člen Národního divadla Eduard Vojan (1853–1920).

Na rok 1894 a Chotěboř s chatrným divadelním sálem a se starou bídou ve svých pamětech vzpomínal tehdejší člen divadelní společnosti Arnošta Frýdy, herec Václav Vydra (1876–1953), od roku 1922 významný člen Národního divadla. Že na toto vystoupení nezapomněl, bylo způsobeno patrně i tím, že na představení byla malá návštěva. Herec tak neměl na zaplacení noclehu v podnájmu, a musel proto dát v Chotěboři do zástavy své zimní kalhoty.

V roce 1992 koupili Panský dům v Chotěboři dva majitelé a dali si za cíl celý objekt do roku 2000 zrenovovat a zmodernizovat. Panský dům dostal novou fasádu, doplněnou pamětní deskou připomínající chotěbořský pobyt Jaroslava Haška.