Jan Pieter Hendrik van Gilse werd op 11 mei 1881 in Rotterdam geboren. Hier heeft hij onder meer pianoles gehad van mevrouw Kindler-Hanken, en muziektheorie van F. Blumentritt. Hij studeerde ook nog viool aan de muziekschool van toonkunst in zijn geboortestad. Hij ging al op 16-jarige leeftijd naar Keulen om toelatingsexamen te doen bij het conservatorium. Franz Wűllner was de directeur, niet onbekend in Nederland, omdat ook Willem Mengelberg hier gestudeerd had. Door een hoogoplopend conflict met een docent moest hij het conservatorium eind 1902 verlaten. Het was overigens waarschijnlijk meer de manier waarop Van Gilse de onenigheid probeerde op te lossen dan de ruzie zelf, die leidde tot deze verbanning. Tekenend voor de componist die zich meer dan eens in meningsverschillen niet altijd tactvol gedroeg. Hij vervolgde zijn studie in Berlijn bij Engelbert Humperdinck. In deze studiejaren voltooide hij zijn Eerste en Tweede symfonie.

Na een baan als repetitor in Bremen verbleef hij in Rome, dankzij een prijs die hij kreeg tijdens verblijf in de Hanzestad. Hij was hier onderscheiden voor zijn derde symfonie met de "Michael Beer Preis". Voor het vertrek naar Rome trouwde hij met Ada Hooijer. Na een weinig gelukkige Italiaanse periode keerde hij terug naar Duitsland. De omstandigheden in de Eerste Wereldoorlog noopte hem en zijn gezin, dat inmiddels 2 zoons telde, terug te keren naar zijn vaderland. Deze Duitse periode bleef niet zonder vrucht. Zowel zijn vierde symfonie, de opera Frau Helga von Stavern en Drie orkestliederen op gedichten uit Rabindranath Tagores Gitanjali ontstonden in dit tijdvak. Zijn gehele verblijf in Duitsland vanaf eind negentiende eeuw tot zijn vertrek  was qua componeren de meest vruchtbare van zijn gehele loopbaan. Hij schreef zijn vier voltooide symfonieën, diverse liederen, een bescheiden hoeveelheid kamermuziek en de cantates Sulamith en Eine Lebensmesse, naast de al genoemde opera. 

Vanaf 1917 tot 1922 was hij werkzaam bij het Utrechtsch Stedelijk Orkest. Hij werd echter met zijn oriëntatie op Duitsland 'gewantrouwd', qua muziekkeus. Maar uit de programma's blijkt dat Van Gilse zich niet eenzijdig richtte op Duitsland. Integendeel, zijn programmakeuze bevatte geregeld Franse muziek en ook werk van onder andere Grieg en Tchaikovsky. De grootse tegenstand kwam van componist en recensent Willem Pijper (1894-1947) wiens recensies zeer onredelijk en bijzonder subjectief lijken te zijn geweest. Onder Jan van Gilse nam de kwaliteit van het USO juist toe, maar dat schijnt Pijper niet te hebben willen opmerken. Overigens was er ook een belangenstrijd tussen het orkest en de sociëteit Tivoli, die jarenlang verantwoordelijk was voor de exploitatie van het orkest. Ook Pijper was hierbij indirect betrokken en zijn strijd tegen Van Gilse was dus alleen op muzikale gronden gebaseerd. Daar Van Gilse zelf geen gemakkelijk man was en niet gesteund werd door het bestuur van het orkest  werd het een complete oorlog met Pijper en ontstond een onwerkbare situatie. Uiteindelijk bezweek Van Gilse in 1922 onder de druk, gaf de strijd op en verliet het orkest.

Na deze heftige jaren begon hij weer te componeren, enkele liederen, kamermuziek, kleine orkestwerken en de cantate Der Kreis des Lebens. In 1926 kwam hij weer terug in Berlijn, maar het naziregime en de acties tegen de joden noopten het gezin opnieuw terug te keren naar Nederland. Hij aanvaardde in 1933 een baan als directeur van muziekschool en conservatorium in de hem reeds bekende Domstad. Ook hier liepen de frustraties zo hoog op dat hij ontslag nam en zich verder aan het componeren wilde wijden. Na 1930 had Van Gilse praktisch geen noot meer geschreven. Hij kon nu zijn opera Thijl componeren, gebaseerd op het boek van Charles de Coster over Uilenspiegel en Lamme Goedzak.

Naast het componeren en dirigeren verrichte Van Gilse veel organisatorisch werk. Zijn gevoel voor rechtvaardigheid uitte zich in zijn betrokkenheid bij de oprichting van het Genootschap van Nederlandse Componisten en het Bureau voor Muziekauteursrecht, de BUMA. Deze organisaties beijverden zich vooral voor de auteurs- en uitvoeringsrechten van de componisten. In zijn Utrechtse periode had Van Gilse er voor gezorgd dat de arbeidsvoorwaarden van de musici verbeterd werden. Richard Strauss benaderde hem in 1933 daarom om op internationaal niveau de belangen van de componisten te bevorderen. Zoals gezegd was Van Gilse afkerig van de nazi's en weigerde daarom. Hij volhardde toen de nazi's daarop weigerden zijn muziek te programmeren. In 1938 nog kon hij leider worden van de Nederlandse muziek in Duitsland, hetgeen hem vrijheid gaf om te beslissen welke muziek van zijn landgenoten er mocht worden uitgevoerd. Het is bijna overbodig om te zeggen dat hij dit aanbod in zeer scherpe bewoordingen afwees.

Toen Nederland door Duitsland werd bezet had dit ook grote consequenties voor het werk van Van Gilse. Na steeds meer maatregelen tegen Joden dreigde hij al te stoppen met dirigeren. Daar Joodse musici hem zelf verzochten om niet teveel ophef te maken bleef hij nog doorgaan, maar toen de Jodenster werd ingevoerd en Joden de toegang tot concerten werd ontzegd was voor Van Gilse de grens bereikt. Hij was ook zo consequent dat hij weigerde om zijn werk te laten uitvoeren door het Concertgebouworkest en ook niet zelf wilde komen dirigeren. Zijn composities waren verbonden met Nederland, terwijl zijn declamatorium Rotterdam uit 1942 onvoltooid bleef.

Zijn verzet tegen het regime ging veel verder. Hij was actief betrokken in het verzet, evenals zijn beide zoons. In 1942 moest zijn vrouw en hij onderduiken, het begin van  een periode waarin steeds weer van onderduikadres veranderd moest worden. In 1944 kwam hij uiteindelijk (opnieuw) terecht bij componist Rudolf Escher. Beide zoons waren inmiddels door de Duitsers vermoord. Zelf leed Van Gilse aan kanker. In augustus 1944 werd hij onder een schuilnaam in het ziekenhuis opgenomen. Op 8 september 1944 stierf hij en werd onder een valse naam begraven in Oegstgeest. Mari Andriessen maakte na de oorlog een grafmonument: een gewonde strijder laat het zwaard uit zijn hand vallen maar houdt de lier omhoog. De muziek van Jan Van Gilse zal triomferen!