Rodák z Vadína u Havlíčkova Brodu byl považován za zvláštního podivína a jeho projev dlouho přijímal jen poměrně úzký okruh obdivovatelů.

Od šedesátých let ale Zrzavého obrazy postupně nacházely své obdivovatele, kteří neváhají utratit za ty nejlepší mnoho milionů korun. Důkazem je nedávná pražská aukce, ve které byl obraz Fantastická krajina vydražen za 12 milionů korun, a to bez aukční přirážky.

Zrzavý byl umělec, který nepodléhal svůdným teoriím ani se nestaral o mínění kritiků, přitom v mládí uvažoval i o literární nebo herecké dráze a od malování jej neodradily ani neúspěchy
u přijímacího řízení na pražskou akademii.

Vojtěch Hynais dokonce Zrzavého rodičům vzkázal, že by bylo vůbec lepší nechat syna vyučit zahradníkem.

Naštěstí pro české výtvarné umění se ale Zrzavý nenechal odradit a hned jedním ze svých prvních pláten Údolí smutku (1907) dokázal, že k osobitému vidění světa žádná studia nepotřebuje. Inspiraci hledal malíř 
u různých osobností i v různých etapách dějin umění. Studoval da Vinciho, vzory nacházel ve středověké malbě, obdivoval italské umění, zaujali jej Seurat i Gauguin, chladným Zrzavého nenechaly ani dekadence či expresionismus.

Od Bohumi
la Kubišty se učil zákonitostem kubismu, inspirovala ho avantgarda, okouzlen byl ale i El Grekem a Rembrandtem. Všechny podněty, které Zrzavý, nosící typický plnovous 
a proslulou čepičku, nasával, pak přetavil do vlastní tvorby.

Pro Zrzavého byla typická autostylizace či biblické motivy, které ukázal v obrazech jako Svatá večeře, Milosrdný Samaritán nebo Sv. Jan Křtitel.

Použité náměty také často opakoval, celý život například neopustil téma fatální ženy, jejíž podobu hledal v mnoha svých Kleopatrách.

Ve svém zásadním období tvořil obrazy vyjadřující lidský zápas: Meditace, Hoře, Vzpomeň si! a Antikrist. Maloval i krajiny, imaginární či reálné, miloval cesty po Itálii a Bretani.