গাঙ্গুলী তিন বছর বয়সে সঙ্গীত বিশ্বের শুরু হয়। তিনি বরানগর রামকৃষ্ণ মিশন আশ্রম উচ্চ বিদ্যালয় তার বিদ্যালয় জীবনের সমাপ্তি করেন। পরে তিনি কলকাতা বিশ্ববিদ্যালয় থেকে স্নাতক হন। তার পিতা কালী গাঙ্গুলী এবং তার পিসিমা শিবানী রায়চৌধুরী এর নির্দেশনায় ভারতীয় শাস্ত্রীয় সঙ্গীততে তিনি প্রশিক্ষণপ্রাপ্ত। তিনি পাশ্চাত্য শাস্ত্রীয় সঙ্গীত, জ্যাজ এবং জ্যাজ গিটারবাদী কার্লটন কিটো -এর থেকে শিক্ষা গ্রহণ করেন।

সঞ্জয় গান্ধী তেরে লিয়ে চলচ্চিত্রের জন্য তাকে এবং প্রিতমকে সঙ্গীত পরিচালনার দায়িত্ব দেন। এরপর যশরাজ ফিল্মস-এর অধীনে মেরে ইয়ার কি শাদি হ্যায় চলচ্চিত্রেও এই জুটি সঙ্গীত পরিচালনার দায়িত্ব পায়। সঞ্জয় গান্ধী এই চলচ্চিত্রের পরিচালক ছিলেন।

এরপর তিনি বহু চলচ্চিত্র, ধারাবাহিক এবং অন্যান্য জায়গায় সঙ্গীত পরিচালনা করেন। বর্তমানে তিনি অন্যতম সেরা সঙ্গীত পরিচালক। হিন্দিতে আশিকি ২ চলচ্চিত্রের গানগুলি অত্যন্ত জনপ্রিয় হয়। এছাড়া বাংলা চলচ্চিত্রে তিনি সেদিন দেখা হয়েছিল, চ্যালেঞ্জ, চ্যালেঞ্জ ২, আওয়ারা, রংবাজ সহ বেশকয়েকটি চলচ্চিত্রে দুর্দান্ত জনপ্রিয় কিছু গান নির্মাণ করেন।

বাংলার অন্যতম সেরা সঙ্গীত পরিচালক জিৎ গাঙ্গুলী সম্পর্কে অনেকেই বলে থাকেন, তিনি নিজের সেরা গানগুলো নিজেই গেয়ে থাকেন। তবে তিনি নিজে তা অস্বীকার করেন।