Muharrem Ergin, 1925 yılında Ahıska, Gürcistan'da dünyaya gelmiştir. Ailesi Türkiye'ye göç ettiğinden Bulanık'ta başladığı eğitimini 1943 yılında Balıkesir lisesinde yatılı okuyarak sürdürmüştür. 1947 yılında İstanbul Üniversitesi Edebiyat Fakültesi Türk Dili ve Edebiyatı Bölümünden mezun olmuştur.
Muharrem Ergin, üniversiteye Reşit Rahmeti Arat'ın asistanı olarak devam etmiştir. 1971 yılında profesör oldu, bölüm başkanlığı yaptı. Orhun Yazıtlarının günümüz Türkçesine birebir çvirisini yapmış ve 1990 yılında emekli olmuştur.
Yazar, 6 Ocak 1995 yılından evinde vefat etmiştir. 9 Ocak 1995 Pazartesi günü ise İstanbul Üniversitesi Merkez Binasında akademik tören ile Beyazıt Camii'ne taşınarak cenaze namazının ardından Hasdal Mezarlığında toprağa verilmiştir.
