1926 yılında Mimar Kemaleddin Bey'in oğlu olarak Istanbul'da doğdu. Galatasaray Lisesi ve Ankara Hukuk Fakültesi'ni bitirdikten sonra 1955 yılında Rockefeller bursu ile New York'a gelip Columbia Üniversitesi'nde Paul Henry Lang'la müzikoloji ve Douglas Moore'la bestecilik alanlarında çalıştı.
Atlantic Records'ta 26 yıl caz prodüktörü olarak görev alan İlhan Mimaroğlu, Charles Mingus, Modern Jazz Quartet, John Coltrane and Freddie Hubbard gibi ünlü isimlerle çalıştı. Kendi kurduğu ve başında bulunduğu Finnader Records klasik ve modern müzik alanında verdiği önemli albümlerle bilinir. 1970'lerin başında kurulan Finnader, aralarında Milton Babbitt, Herbie Mann, John Cage and Karlheinz Stockhausen gibi sanatçıların da olduğu 35 albüm çıkardı. Bilinen ilk modern "doğrudan-diske" albüm çalışması 1977 yılında Finnader tarafından yayınlanan Idil Biret'in "The Second and Seventh Piano Sonatas of Prokofiev" adlı çalışmasıdır.
Elektronik müzik alanındaki yapıtlarının çoğunu Columbia-Princeton Elektronik Müzik Merkezi stüdyolarında besteleyen Mimaroğlu burada Vladimir Ussachevsky ile çalışmış, Edgard Varèse ve Stefan Wolpe gibi bestecilerin özel öğrencisi olmuştur. Jean Dubuffet ile beraber "Coucou Bazar" adlı oyununda calışan Mimaroğlu'nun müziği Federico Fellini'nin "Satyricon" filminde de kullanılmıştı. Ayrıca, yedi yıl süreyle New York'un WBAI radyo istasyonunda müzik programları yapmış ve Voice of America Radyosunda da sanat eleştirmeni olarak görev almıştı.
Türkiye'de çıkan ilk caz kitabi 1958 yılında yazan Mimaroğlu, caz müziğini Türkiye'ye radyo programları ve yazdığı kitaplarla tanıtmıştır. 1971 yılında Guggenheim Fellowship'le ödüllendirimiş, ayrıca 2010 Uluslararası Istanbul Caz Festival'nin Ömürboyu Başarı Ödülü ve 2006 İ.T.Ü. MIAM Yılın Bestecisi ödüllerini almıştı.
1958 yılından vefatına kadar New York’ta yaşayan Mimaroğlu Caz ve modern klasik müzik alaninda verdiği eserlerle tanınan ünlü besteci, prodüktör ve yazar İlhan Mimaroğlu, 17 Temmuz 2012 günü New York'ta 86 yaşında vefat etti.
İlhan Mimaroğlu anısına 20 Temmuz 2012 Cuma günü saat 13.00'te Riverside Memorial Chapel'de bir anma töreni düzenlendi.
