Bir rivayete göre Halil Bey parası bitince saraydan İstanbul’da bir görev istemiş ancak bunun için kendisine çıplak tabloları getirmemesi şartı konmuştu. Paris’ten ayrılmak istemeyen eşi onu terk etti. Üç gün süren müzayede sonucunda tüm eserler 638 bin Fransız Frangına satılır. Dönemi için iyi giden müzayede sonunda Halil Bey şunları söyler: “Hayat ne garip. Kadınlar beni aldattı, kumar yıktı, resimlerim ise büyük paralar getirdi...”

İstanbul’da bir süre Sadaret müsteşarı olarak görev yaptıktan sonra Viyana büyükelçisi olan Halil Şerif Bey, 1872’de Mısır hanedanından Mustafa Fazıl Paşa’nın kızı Prenses Nazlı Fazıl ile evlendi ancak bu evliliği uzun sürmedi. 1872-1873 yılları arasında Hariciye Nazırlığı, 1877 yılında ise beş ay boyunca Adliye Nazırlığı yaptı. 1877 yılında tekrar Paris’e büyükelçi olarak gitti ancak aynı yılın eylül ayında görevinden alındı. 1879 yılına Sultan II. Abdülhamid’in cülus alayında at üzerindeyken güneş çarpması sonucu öldü.