1831 yılında İstanbul'da doğdu. Eyüp Şeri'ye Mahkemesi Başkâtibi Bekir Efendi'nin oğludur. Daha ilköğrenimi sırasında güzel sesiyle dikkati çekti. Kendisiyle önce Zekâi Dede ilgilendi ve onu besteci Eyyubî Mehmed Bey'e götürdü. Arif Bey ilk musiki zevkini, bilgisini Mehmed Bey'den aldı. Altı yaş büyüğü olan, geleceğin değerli bestecisi Zekâî Efendi, onu hocası Dede Efendi'yle tanıştırdı; musikiye karşı büyük yeteneği olduğunu Dede Efendi de görmüştü.
Arif Bey, 1844'te Mehmed Bey'in yardımıyla Bab-ı Seraskeri'ye memur olarak girdi. Bir yandan çalışıyor, bir yandan da musikiye vakit ayırıyordu. Bir süre Mehmed Bey'in Muzika-yı Hümayun'daki derslerine dışardan devam etti. Çok geçmeden sesinin güzelliğini haber alan Sultan Abdülmecid Han onu Muzika-yı Hümayun'a aldırdı. Saray'daki musiki hocası, besteci Haşim Bey'di. Haşim Bey'den çok yararlandı, ondan yüzlerce eser öğrendi. Okuyuş üslubunu da ondan aldığı söylenir.
Abdülmecid Han, Arif Bey'e Saray'da büyük yakınlık gösterdi. Onu "kurena"lık (mabeynci) rütbesine kadar yükseltti, 4. Mecidî nişanıyla ödüllendirdi. Arif Bey, haremdeki cariyelerin musiki hocalığı görevini de yürütüyordu. Bu dersler sırasında Çeşm-i Dilber adlı bir cariyeye âşık oldu. Padişahın izniyle Çeşm-i Dilber'le evlenerek Saray'dan ayrıldı. İki çocukları oldu. Ama bu evlilik yürümedi. Çeşm-i Dilber, çocuklarını Arif Bey'e bırakarak bir tüccarla evlendi. Arif Bey, "Niçin terk eyleyip gittin a zalim", "Düşer mi şanına ey şeh-i hûban" dizeleriyle başlayan kürdilihicazkâr şarkılarını terkedilmenin acısı üzerine besteledi.
Bir süre sonra, Abdülmecid Han tarafından "serhanende" olarak yeniden Saray'a alındı, gene haremdeki musiki dersleri hocalığıyla görevlendirildi. Besteci bu kez gene bir cariyeye, Zülf-i Nigâr Hanım'a âşık oldu. Bu olay Saray'da duyulur duyulmaz, Abdülmecid Han onları evlendirdi. Zülf-i Nigâr'ın kısa bir süre sonra veremden ölmesi, besteciye yeni bir acı kaynağı oldu. "Olmaz ilaç sine-i sadpareme" ve "Kemer çehre peri rû tende cânımsın-Nigârım dilberim ruh-i revanım" şarkıları bu acının ürünleridir.
İkinci kez evlenirken de Saray'dan ayrılan besteci, yeniden Saray'a dönmek istiyordu. 1861'de Abdülmecid Han ölmüş, yerine kardeşi Abdülaziz Han tahta çıkmıştı. Arif Bey, besteci Rıfat Bey'in yönetimindeki Saray Fasıl Topluluğu'na "serhanende" olarak alındı; ayrıca gene cariyelerin musiki hocalığıyla görevlendirmişti. Onu iki kez evliliğe götüren bu görev, üçüncü kez de aynı sonucu verdi. Arif Bey bu kez Pertevniyal Valide Sultan'ın nedimelerinden Nigârnik Hanım'a âşık oldu. Musiki dersleri sırasında doğan bu ilişki de, Padişah ile Valide Sultan'ın uygun görmesiyle, evlilikle sonuçlandırıldı.
Ömrünün sonuna kadar Nigârnik Hanım'la evli kalan Arif Bey'in Saray'daki bu üçüncü görevi on yıl sürdü. Ününün artık doruğundaydı. İstanbul'un musiki çevrelerinde, konaklarda, özel meşkhanelerde yapılan musiki toplantılarında en çok aranan sanatçıydı.
1871'de tekrar Saray'dan ayrıldı. Şura-yı Devlet'te, Beykoz Aşar Müdürlüğü'nde beş yıl memur olarak çalıştı. Sultan Abdülaziz'in ölümünden sonra Muzika-yı Hümayun'da girişilen tasfiye sonucu Arif Bey de açığa alındı. V. Murad'ın üç aylık padişahlığından sonra Sultan II. Abdülhamid Han tahta çıktı. Besteci uzun bir süre işsiz kaldı, geçim derdine düştü. Zincirlikuyu'da bir çiftlik evine çekilip çevreden koptu. Bu sırada 1877-78 Osmanlı-Rus savaşı (93 Harbi) patlak verdi. Arif Bey savaş yıllarını çiftlikte geçim sıkıntısı içinde geçirdi.
Savaş bittikten sonra, Osmanlı Sarayı bestecinin yokluğunu yeniden hissetmeye başladı. Arif Bey'in içinde bulunduğu durum Abdülhamid Han’a iletildi. Bunun üzerine besteci yeniden Saray'da görevlendirildi. Hacı Arif Bey'in öğrencilerinden besteci Levon Hancıyan'ın anlattığına göre, Saray'a alınışı şöyle olmuştu: İran Şahı Nasıreddin, eserlerini çok beğendiği Arif Bey'i İran Sarayı'na davet eder, Padişah'tan da besteciye izin verilmesini rica eder. Türk Musikisi'nden öteki padişahlar kadar zevk duymamakla birlikte, Arif Bey'in şarkılarını seven Abdülhamid, şaha bestecinin Saray'dan ayrıldığından haberi olmadığını söyler ve onu yeniden Saray'a aldırır. Arif Bey bu arada Şirazlı Hafız'ın bir gazelini besteleyerek, İstanbul'a gelen şaha sunar. Eseri çok beğenen şah, besteciyi bir nişanla ödüllendirir.
Muzika-yı Hümayun'da dördüncü kez görevlendirilen Arif Bey'e kolağası rütbesi verilir, ama bu ona göre küçük bir rütbedir. Arif Bey, önceki padişahlardan gördüğü ilgiyi Abdülhamid'den göremediği vehmiyle huzursuz olur. Saray'ın eski canlı havası da kaybolmuştu; siyasi durum gittikçe gerginleşmekteydi. Abdülhamid'den umduğu yakınlığı görmeyen besteci, kimi zaman Zincirlikuyu'daki eve çekilerek sade bir yaşayışın verebileceği mutluluğu aradı, kimi zaman da Padişah'la çatışmayı göze alan davranışlarda bulundu.
Abdülhamid'in "Şu şarkıyı oku", diye verdiği bir emre karşı, mabeynciye, "Ben onun babasından çok saygı gördüm." Bana, "Şu şarkıyı oku" diye emir veremez. Sanatta padişah iradesi geçerli değildir. Cevabını vermesi üzerine, Saray'da hapsedildi. Elli gün sonra, nihavent makamındaki "Ahteri düşkün garibim, âşık-ı avareyim" şarkısını besteledi. İlk dizedeki "yıldız" anlamına gelen Farsça "ahter" kelimesi "talii düşkün" biçimine dönüştürülerek şarkı Abdülhümid Han’ın huzurunda okundu. Eseri çok beğenen padişah, besteciyi bağışladı.
Arif Bey ölünceye kadar Muzika-yı Hümayun'daki derslerine devam etti. 1885 İstanbul'da öldü. Yahya Efendi Dergâhı mezarlığına gömüldü.
Hacı Arif Bey Türk Musiki'sinin en büyük bestecilerinden biridir. Klasik dönem bestecilerinin pek kullanmadıkları şarkı formuna yepyeni bir kimlik kazandırmış, bir şarkı bestecisi olarak yeni bir çığır açmıştır. Arif Bey'den sonra "şarkı", bestecilerin en çok işledikleri form olmuştur. Arif Bey klasik formlarda birkaç eser besteledikten sonra başarılı olamadığını görerek doğrudan doğruya şarkı besteciliğine yönelmiştir.
Eski şarkılar arasında, şarkı formuna ya da formun farklı türlerine örnek gösterilebilecek kuruluşta eserlerin sayısı az değildi, ama şarkı formlarının kesin kurallara bağlanması ilk kez Arif Bey'in eserleriyle gerçekleşebilmiştir. Arif Bey kendisinden sonraki şarkı bestecilerini bu yolda etkilemiş, böylece şarkı kesin biçimini almıştır.
Hacı Arif Bey hiçbir zaman tekdüzeliğe düşmez; hemen her şarkısına yeni bir renk katmasını bilir, kullandığı makamın o zaman kadar işlenmemiş bir yönünü yakalar. Sekiz zamanlı üç vuruşlu "müsemmen" usulü onun buluşudur. Türk Aksağı'nı çok başarılı bir biçimde kullanır. Şarkılarında beste ile güfte tam bir bütünlük içindedir. Kürdilihicazkâr makamını da Arif Bey oluşturmuştur.
Hacı Arif Bey bütünüyle Türk Musikisi'nin sözlü öğrenim geleneği içinde yetişmiş bir besteciydi. Nota bilmiyordu, herhangi bir saz da çalmazdı. Ama çok güçlü bir hafızası vardı, bini aşkın eser ezberindeydi. Çok iyi bir okuyucuydu. Şevki Bey, Levon Hancıyan, Zati Arca gibi öğrenciler yetiştirdi. Arif Bey Mecmua-i Arifi adlı bir de güfte derlemesi yayınladı; bu derlemede sanatçının kendi şarkıları da vardır.
Bine yakın eser bestelediği söylenir, ancak 337 parçası notalarıyla günümüze kalmıştır. Bunun 327'si şarkı, 10'u öteki formlardaki eserlerdir. Bu 10 eserin de altısı ilahi, biri tevşih, biri durak, biri beste, biri de yürük semaidir.
