Narodil se 5. listopadu 1890 v Okrouhlici-Vadíně. Za obec svého srdce však považoval Krucemburk, kde žili příbuzní z otcovy strany a dědeček shodného jména vlastnil zájezdní hostinec Na špici.

Se životem Zrzavého na Havlíčkobrodsku jsou spojena ještě dvě města. V letech 1903 až 1904 navštěvoval měšťanskou školu v Přibyslavi, přestoupil do ní z reálky v Kutné Hoře, povinnou školní docházku pak dokončil v Německém Brodě.

„Bydleli jsme u Sázavy, samé skály tam byly, skoro jako v Bretani. Jako chorál tam hučela, stříkala a pěnila voda, zelená, průzračná. Jsou to všechno, řekl bych, trvalé, neměnné hodnoty… Jen lesa se bojím, nevím proč," řekl Zrzavý v roce 1974 ve vánočním rozhovoru v Mladé frontě. Horní Posázaví se hluboce vrylo do malířova výtvarného povědomí. Mistr o tom později napsal: „Jistě kraj, jehož ovzduší jsem dýchal a smutnou krásu do sebe vpíjel, zanechal ve mně nesmazatelné stopy a předurčil způsob mého vidění světa. Jak bych mohl ze sebe vytrhnouti a zapomenouti ta první zjevení světa, ty kopce a kopečky s vinoucími se bílými cestami, vroubenými jeřáby, modravé dálky, skály a balvany, lesy a březové hájky, vlhká údolíčka s potoky a olšemi, černou šumící Sázavu? Miloval jsem svůj kraj, ale stejně jsem se ho bál. Ticho a hluboké šero lesů nahánělo mi hrůzu. Nekonečná zima toho pohorského chudobného kouta země, předčasné podzimy a sychravá jara svíraly mne stále jako bolestný sen. Úzkost a hrozba dívaly se na mne z toho kraje."

Na vernisáži výstavy Jan Zrzavý na Vysočině, která se konala na přelomu let 2007/2008 v Galerii výtvarného umění v Havlíčkově Brodě, promluvila kunsthistorička Jana Orlíková, která se Zrzavým prožila jeho poslední tři dny života. Vyzdvihla především zodpovědnost malíře k rodnému kraji. „Umělec se dlouho necítil být natolik zralý, aby ho začal malovat, ale mezi lety 1920 a 1923 z jeho palety vzešla řada obrazů, které už zralé byly a dobře vystihovaly ojedinělý charakter Vysočiny," uvedla Orlíková. Do Okrouhlice se Zrzavý opět přistěhoval v roce 1960 z jihočeských Vodňan, odkud ho vykázal tehdejší národní výbor.„V reakci na aktuální politickou situaci se i ve své tvorbě Jan Zrzavý symbolicky vrátil na rodnou Vysočinu a maluje obrazy Krucemburku, Okrouhlice, Babic, Krásné Hory, ale také Čekánov, Lipnici nad Sázavou, Krátkou Ves, Žďár nad Sázavou a řadu dalších zákoutí českých měst i vesniček. Tyto obrazy vynikají zdánlivou jednoduchostí a prostotou, ale jejich kompozice je důkladně promyšlena a barevnost neobyčejně citlivá a prodchnutá velkou láskou. Těmito díly manifestuje svůj vztah k rodné zemi a vytváří jakýsi prototyp české krajiny," říká ředitelka Galerie výtvarného umění v Havlíčkově Brodě Hana Nováková.

Zrzavý měl mimořádný vztah ke dvěma dalším velkým rodákům Brodska, k básníku Karlu Havlíčkovi a hudebnímu skladateli Janu Václavu Stamicovi. Píše o tom kunsthistorik František Dvořák v knize O umělcích, jak je neznáme. Uvádí v ní, že v životě Zrzavého hrála důležitou roli četba: „Kdybych nemohl číst, bylo by to horší, než kdybych nemohl malovat," tvrdil malíř. Za první literaturu, která ho velmi zaujala, označil báseň Máchův Máj. „Tehdy mi bylo čtrnáct let. Nemohl jsem to vydržet, abych ji celou hned nepřečetl. Vzal jsem ji tedy do přibyslavské školy a četl pod lavicí při vyučování. Přišel na to učitel a sebral mi ji."

Odesílatel pastelů: Leonardo da Vinci

Zrzavý vzpomíná na svůj sen z konce léta 1911: Zdálo se mi, že jsem v Okrouhlici na nádraží, že chodím po peróně s Božkou Filipiovou, která se později stala mou švagrovou. Někoho jsme čekali, někdo měl přijet, a vlak pořád nejel a nejel. Až najednou cosi přijelo, ale nebyl to osobní vlak, který jsme čekali, přijel nákladní vlak od Německého Brodu. Začali vykládat bedny, malé, velké, mnoho beden. Skladník Hrubý ke mně přišel a podával mi nákladní list, že prý bedny jsou pro mě. „Co to je," divil jsem se, „podívejte se, co to je!" Odtrhli sekerou víko u dvou tří beden. Byly tam samé pastely… Byl jsem strašně překvapen. „Kdo mi to asi posílá?" řekl jsem. „Podívej se do nákladního listu," odpověděla Božka, „tam přece musí být odesílatel." Podíval jsem se. „Odesílatel Leonardo da Vinci," stálo tam. Okamžitě jsem porozuměl…

Poslední léta života malíř „pendloval" mezi bytovými ateliéry na poště v Okrouhlici a na Nových zámeckých schodech na Malé Straně v Praze. „Nikdo neměl ani tušení, jak velkým fyzickým výkonem musela pro Zrzavého být cesta z Okrouhlice do Prahy, zpět hned do Okrouhlice, znovu pak do Prahy a pak hned do Olomouce. Ptá-li se někdo na zdraví tohoto 81letého umělce, odpoví mu výsledky všech těchto setkání," napsal v roce 1971 kunsthistorik Dvořák.

Velký umělec zemřel ve věku 87 let v Praze 12. října 1977, tři týdny před 87. narozeninami. V souladu s vlastním přáním byl o deset dnů později pohřben u kostela svatého Mikuláše v Krucemburku, ve kterém byli křtěni jeho předci z otcovy strany. V hrobě spočívá vedle své matky Vilemíny a bratra Boleslava.

O hrob se stará Společnost Jana Zrzavého.

Ivo Havlík