Základy hudebního školství v Jihlavě lze datovat do roku 1924, kdy byla založena Městská hudební škola. Ředitelem školy byl kuratoriem jmenován na základě konkurzu absolvent kompozičního a klavírního oddělení pražské konzervatoře Bohumil Bouda. V personálním obsazení učitelů docházelo v meziválečném období k častým změnám. Funkci ředitele zastával po všechna léta Bohumil Bouda, iniciátor veškerého hudebního dění v tehdejší Jihlavě. Okupace přivodila zánik jihlavské Městské hudební školy.
V poválečném období se úkolu znovu vybudovat hudební školu ujali bratři František a Antonín Melicharovi. Obnovená škola byla umístěna v Palackého ulici. 1. října 1945 se vrátil do Jihlavy Bohumil Bouda a znovu se ujal řízení. Po komunistickém puči 1948 nastaly v československém školství mnohé změny, které významně zasáhly každého z našich současníků. Škola byla v dubnu 1948 výnosem ministerstva školství přejmenována na Městský hudební ústav a dostávala státní dotace.
Ve školním roce 1950/51 bylo v tomto ústavu zahájeno pedagogické studium učitelů, v němž se na své povolání připravovali budoucí učitelé hudby. V následujících letech zaznamenává škola rozmach. Roku 1954 se stal ředitelem Emerich Vacek. V roce 1959 bylo zrušeno pedagogické oddělení.
V této době již začínají pracovat nově zřízené pobočky v Lukách nad Jihlavou a v Dolní Cerekvi. V roce 1960 se škola stěhuje do budovy na dnešním Masarykově nám. č.16 (současné sídlo ZUŠ). Celostátním opatřením se ze základních hudebních škol staly v roce 1961 lidové školy umění, škola je rozšířena o další obory: výtvarný a literárně dramatický.
V roce 1963 nastupuje nová ředitelka, JUDr. Jana Melicharová, jihlavská rodačka. Škola nadále rozšiřuje svou působnost, zvyšují se požadavky "na ideovou činnost školy", přesto úroveň školy neklesá.
V osmdesátých letech škola prožívá svoji významnou etapu. V roce 1981 je jmenován ředitelem Josef Zeman, který dbá dle finančních možností na vybavení moderní reprodukční technikou, hudebními nástroji a dalším nezbytným materiálním vybavením. Žáci úspěšně pokračují v předchozí tradici a získávají na různých soutěžích - i v celostátním měřítku - přední umístění.
V roce 1990 jsou LŠU celostátně přejmenovány na Základní umělecké školy. V červnu 1991 byl na základě výsledku konkurzu jmenován do funkce ředitele ZUŠ Mgr. Petr Šandera, bývalý žák školy, absolvent JAMU Brno ve hře na varhany.
Zástupci byli jmenováni Mgr. Antonín Nosek a Mgr. Antonín Veselý. Nové vedení začalo vytvářet vnitřní podmínky k samostatnosti školy a od 1. 1. 1993 získala škola právní subjektivitu se zřizovatelem Školským úřadem Jihlava. Škola si i v nových demokratických podmínkách udržuje a zlepšuje kredit u občanů Jihlavska, i když v letech 1993-96 zápasí (tak jako v dobách svých začátků) s finančními problémy - menší dotace, zvyšování školného. Přes tyto obtíže a tvrdší podmínky se počet žáků udržuje nad tisíc. O kvalitě žáků i schopnostech učitelů vypovídají postupy dvou žáků do ústředních kol soutěží ZUŠ, každoroční přijetí žáků na umělecké školy a pedagogické fakulty i úspěchy žáků, souborů i učitelů na koncertech doma, v Purmerendu v Holandsku nebo velký úspěch nově vzniklého DPS Gaudium na soutěžích, na přehlídce ZUŠ v Praze a na koncertech ve Švýcarsku a na 42. Festivalu sborového umění.
Od roku 1996 má škola po odchodu Mgr. Noska do důchodu jen jednoho zástupce - Mgr. A. Veselého. To už se začíná psát současná kapitola naší školy, od 1. 2. 1999 s názvem ZUŠ Jihlava.
Koncem školního roku 2001/2002 odchází do zaslouženého důchodu ředitel Mgr. Petr Šandera. Novou ředitelkou byla na základě konkurzu radou kraje Vysočina jmenována Mgr. Dana Fučíková. Zástupce ředitelky se nemění - ve funkci nadále zůstává Mgr. Antonín Veselý.
Od r. 2002 nastala s nástupem Mgr. Dany Fučíkové do funkce ředitelky školy celá řada změn. Na škole začal pracovat dechový orchestr TUTTI , který má v současnosti již 55 členů a může se pyšnit názvem Dechový symfonický orchestr. Je to hlavně zásluhou vedení orchestru a jeho dirigentů, nástrojovému obsazení a vybavení. Škola má vypracovaný ICT plán a všechna oddělení mají připojení k internetu a jsou vybavena počítači, dataprojektory, audio a video technikou. Máme také svoji školní knihovnu a díky učitelům hudební nauky také obsáhlou diskotéku plnou audio a video nahrávek pro potřeby výuky, ale i k zapůjčení učitelům, nebo studentům. ZUŠ Jihlava byla vybrána jako partnerská pilotní škola pro tvorbu ŠVP.
V roce 2011 se škola připravuje na rekonstrukci celé budovy. Příprava prací a projektu přestavby školy je ve spolupráci s magistrátem města Jihlavy. Projekt zpracovává firma Fortis . Na škole proběhl archeologický průzkum, byly vyčištěny sklepní prostory a provedeno stavebně technické zaměření budovy.