Galerie výtvarného umění v Havlíčkově Brodě zaujímá specifické místo v síti českých galerií, neboť se jako jediná v republice specializuje na moderní českou knižní ilustraci, kresbu a grafiku vzniklou po roce 1918.
Galerie výtvarného umění v Havlíčkově Brodě patří mezi ty tzv. mladší. Vznikla až v roce 1965 jako samostatné oddělení při Okresním muzeu v Havlíčkově Brodě. Zpočátku převzala a spravovala sbírku „umění“ z tzv. městské galerie, zahrnující obrazy a sochy regionálních autorů nebo děl majících k regionu vztah, která se z muzea vyčlenila po roce 1946.
Jednáním odboru kultury ONV Havlíčkův Brod s oddělením regionálních galerií Národní galerie v Praze jí byla přiznána specializace na moderní českou knižní ilustraci, kresbu a grafiku vzniklou po roce 1918. Tato specializace byla zvolena s ohledem na tradici výstavní činnosti v Síni knižní kultury při Východočeském nakladatelství v Havlíčkově Brodě a na výtvarné soutěže pořádané každoročně u příležitosti Celostátních festivalů humoru a satiry Haškova Lipnice.
Po určení specializace havlíčkobrodské galerie byla původní sbírka městské galerie převedena zpět do muzea a galerie začala budovat nové sbírkové soubory, které díky cílené akviziční činnosti a dle daných finančních možností dnes představují ucelený pohled na výtvarnou kulturu české knihy a grafiky s výjimkou několika málo autorů, jejichž dílo je již uzavřené a prozatím nedosažitelné. Sbírky nyní čítají více než 7 000 uměleckých děl a jsou zde zastoupeni přední čeští umělci např. Jan Bauch, Cyril Bouda, Vladimír Boudník, Adolf Hoffmeister, Emil Filla, Ota Janeček, Jiří John, Jaroslav Hořánek, Stanislav Kolíbal, Jan Kotík, Kamil Lhoták, Jiří Načeradský, Jaroslav Panuška, Bohuslav Reynek, Václav Sivko, Zdeněk Sklenář, Antonín Strnadel, Karel Svolinský, Jaroslav Šerých, Karel Teissig, František Tichý, Jiří Trnka, Adolf Zábranský, Olbram Zoubek a Jan Zrzavý.
První stálou výstavu se podařilo v havlíčkobrodské galerii otevřít 20. 7. 1979 po další adaptaci Malinova domu v předchozích dvou letech. Tato výstava byla věnována „Klasikům české ilustrace“. V roce 1985 byla nahrazena kolekcí „Moderní české ilustrace“; kterou v roce 1991 nahradila expozice „Ilustrací pro dětskou knihu“ a od roku 1996 expozice věnovaná autorům majících vztah k regionu. Po přestěhování do nového objektu v roce 1999 získala prezentace sbírek své stálé oddělené prostory, ve kterých byla instalována expozice nazvaná „Moderní české umění 20.století“ a tato se každoročně obměňuje s ohledem na převládající tvorbu na papíře.
Vedle prezentace vlastních sbírek ve stálé expozici a na různých příležitostných výstavách se havlíčkobrodská galerie věnuje i další výstavní činnosti. Od roku 1965 realizovala více než 300 základních výstav. Byly to převážně samostatné výstavy českých předních i regionálních výtvarníků, ale nevyhýbala se ani tematickým výstavám jako např. Žena ve výtvarném umění (8. 3.–18. 4. 1976), Česká malba na přelomu 19.–20. století (2. 7.–29. 8. 1993) nebo všech 14. ročníků Současné české ilustrační tvorby (1993–2006). Z úspěšných samostatných výstav můžeme namátkou jmenovat v šedesátých letech výstavy Františka Tichého, Emila Filly, Jana Zrzavého, Josefa Šímy, v sedmdesátých letech Josefa Lady, Jaroslava Panušky, Vojtěcha Preissiga, v osmdesátých letech Františka Kavána, Josefa Kremláčka, v letech devadesátých Jana Štursy, Adrieny Šimotové, Karla Svolinského a mnohých jiných.V majetku galerie je i jeden unikát, který poněkud vybočuje z jejího odborného zaměření na výtvarnou tvorbu dvacátého století. Jde o tzv. Uhrovský oltář se sousoším Kalvárie od Ignáce Rohrbacha (1691–1747). Vrcholně barokní oltář vznikl kolem roku 1735 pro kapli Povýšení sv. kříže na zámku v Uhrově. Galerie koupí oltář pro Havlíčkobrodsko zachránila, nechala jej zrestaurovat a umístila jej do prvního patra své expozice.
Během své existence doznala havlíčkobrodská galerie několik statutárních změn. Od svého založení fungovala galerie jako samostatné oddělení Okresního muzea v Havlíčkově Brodě; v roce 1967 byla začleněna do nově vzniklé instituce nazvané Okresní vlastivědné středisko, které organizačně sdružovalo tři samostatná oddělení – muzeum, galerii, ochranu památek a přírody. K 1. 1. 1974 bylo Okresní vlastivědné středisko rozděleno na dvě samostatné organizace – Okresní muzeum a galerii a Okresní středisko státní památkové péče a ochrany přírody. Dne 1. 7. 1984 došlo k opětovnému sloučení obou výše uvedených organizací do Okresního vlastivědného střediska, kde tvořila galerie samostatné oddělení vedle oddělení muzea a památkové péče, ochrany přírody, propagace a stavební čety. V průběhu roku 1991 došlo k delimitaci oddělení ochrany přírody a galerie. Obě tato oddělení delimitací získala právní subjektivitu a přešla pod příslušné ministerstvo. V souvislosti s reorganizací státní správy a samosprávy byla k 1. 7. 2001 Galerie výtvarného umění v Havlíčkově Brodě spolu s dalšími sbírkotvornými institucemi předána z MK ČR pod kraj Vysočina.
Sbírkové soubory galerie obsahují na sedm tisíc uměleckých děl. Zastoupeny jsou grafiky a ilustrace Cyrila Boudy, Adolfa Hoffmeistera, Emila Filly, Oty Janečka, Kamila Lhotáka, Jaroslava Panušky, Bohuslava Reynka, Karla Svolinského, Jiřího Trnky, Adolfa Zábranského, Jana Zrzavého a mnoha dalších.
Součástí stálé expozice je barokní tzv. Uhrovský oltář se sousoším Kalvárie od Ignáce Rohrbacha. Vznikl kolem roku 1735 pro kapli Povýšení svatého Kříže na zámku v Uhro
