Lahir di Balkh, Afghanistan pada 604 H atau 30 September 1207 Rumi menyandang nama lengkap Jalaluddin Muhammad bin Muhammad al-Balkhi al-Qunuwi. Adapun panggilan Rumi karena sebagian besar hidupnya dihabiskan di Konya (kini Turki), yang dahulu dikenal sebagai daerah Rum (Roma).
Ayahnya, Bahauddin Walad Muhammad bin Husein, adalah seorang ulama besar bermadzhab Hanafi. Dan karena kharisma dan tingginya penguasaan ilmu agamanya, ia digelari Sulthanul Ulama (raja ulama). Namun rupanya gelar itu menimbulkan rasa iri pada sebagian ulama lain. Dan merekapun melancarkan fitnah dan mengadukan Bahauddin ke penguasa. Celakanya sang penguasa terpengaruh hingga Bahauddin harus meninggalkan Balkh, termasuk keluarganya. Ketika itu Rumi baru beruisa lima tahun.
Sejak itu Bahauddin bersama keluarganya hidup berpindah- pindah dari suatu negara ke negara lain. Mereka pernah tinggal di Sinabur (Iran timur laut). Dari Sinabur pindah ke Baghdad, Makkah, Malattya (Turki), Laranda (Iran tenggara) dan terakhir menetap di Konya, Turki. Raja Konya Alauddin Kaiqubad, mengangkat ayah Rumi sebagai penasihatnya, dan juga mengangkatnya sebagai pimpinan sebuah perguruan agama yang didirikan di ibukota tersebut. Di kota ini pula ayah Rumi wafat ketika Rumi berusia 24 tahun.
Di samping kepada ayahnya, Rumi juga berguru kepada Burhanuddin Muhaqqiq at-Turmudzi, sahabat dan pengganti ayahnya memimpin perguruan. Rumi juga menimba ilmu di Syam (Suriah) atas saran gurunya itu. Ia baru kembali ke Konya pada 634 H, dan ikut mengajar pada perguruan tersebut.
Setelah Burhanuddin wafat, Rumi menggantikannya sebagai guru di Konya. Dengan pengetahuan agamanya yang luas, di samping sebagai guru, ia juga menjadi da'i dan ahli hukum Islam. Ketika itu di Konya banyak tokoh ulama berkumpul. Tak heran jika Konya kemudian menjadi pusat ilmu dan tempat berkumpul para ulama dari berbagai penjuru dunia.
Kesufian dan kepenyairan Rumi dimulai ketika ia sudah berumur cukup tua, 48 tahun. Sebelumnya, Rumi adalah seorang ulama yang memimpin sebuah madrasah yang punya murid banyak, 4.000 orang. Sebagaimana seorang ulama, ia juga memberi fatwa dan tumpuan ummatnya untuk bertanya dan mengadu. Kehidupannya itu berubah seratus delapan puluh derajat ketika ia berjumpa dengan seorang sufi pengelana, Syamsuddin alias Syamsi Tabriz.
Suatu saat, seperti biasanya Rumi mengajar di hadapan khalayak dan banyak yang menanyakan sesuatu kepadanya. Tiba- tiba seorang lelaki asing --yakni Syamsi Tabriz-- ikut bertanya, "Apa yang dimaksud dengan riyadhah dan ilmu?" Mendengar pertanyaan seperti itu Rumi terkesima. Kiranya pertanyaan itu jitu dan tepat pada sasarannya. Ia tidak mampu menjawab. Berikutnya, Rumi berkenalan dengan Tabriz. Setelah bergaul beberapa saat, ia mulai kagum kepada Tabriz yang ternyata seorang sufi. Ia berbincang-bincang dan berdebat tentang berbagai hal dengan Tabriz. Mereka betah tinggal di dalam kamar hingga berhari-hari.
Sultan Salad, putera Rumi, mengomentari perilaku ayahnya itu, "Sesungguhnya, seorang guru besar tiba-tiba menjadi seorang murid kecil. Setiap hari sang guru besar harus menimba ilmu darinya, meski sebenarnya beliau cukup alim dan zuhud. Tetapi itulah kenyataannya. Dalam diri Tabriz, guru besar itu melihat kandungan ilmu yang tiada taranya."
Rumi benar-benar tunduk kepada guru barunya itu. Di matanya, Tabriz benar-benar sempurna. Cuma celakanya, Rumi kemudian lalai dengan tugas mengajarnya. Akibatnya banyak muridnya yang protes. Mereka menuduh orang asing itulah biang keladinya. Karena takut terjadi fitnah dan takut atas keselamatan dirinya, Tabriz lantas secara diam-diam meninggalkan Konya.
Bak remaja ditinggalkan kekasihnya, saking cintanya kepada gurunya itu, kepergian Tabriz itu menjadikan Rumi dirundung duka. Rumi benar-benar berduka. Ia hanya mengurung diri di dalam rumah dan juga tidak bersedia mengajar. Tabriz yang mendengar kabar ini, lantas berkirim surat dan menegur Rumi. Karena merasakan menemukan gurunya kembali, gairah Rumi bangkit kembali. Dan ia mulai mengajar lagi.
Beberapa saat kemudian ia mengutus putranya, Sultan Salad, untuk mencari Tabriz di Damaskus. Lewat putranya tadi, Rumi ingin menyampaikan penyesalan dan permintaan maaf atas tindakan murid-muridnya itu dan menjamin keselamatan gurunya bila berkenan kembali ke Konya.
Demi mengabulkan permintaan Rumi itu, Tabriz kembali ke Konya. Dan mulailah Rumi berasyik-asyik kembali dengan Tabriz. Lambat-laun rupanya para muridnya merasakan diabaikan kembali, dan mereka mulai menampakkan perasaan tidak senang kepada Tabriz. Lagi-lagi sufi pengelana itu, secara diam-diam meninggalkan Rumi, lantaran takut terjadi fitnah. Kendati Rumi ikut mencari hingga ke Damaskus, Tabriz tidak kembali lagi.
Rumi telah menjadi sufi, berkat pergaulannya dengan Tabriz. Kesedihannya berpisah dan kerinduannya untuk berjumpa lagi dengan gurunya itu telah ikut berperan mengembangkan emosinya, sehingga ia menjadi penyair yang sulit ditandingi. Guna mengenang dan menyanjung gurunya itu, ia tulis syair- syair, yang himpunannya kemudian dikenal dengan nama Divan-i Syams-i Tabriz. Ia bukukan pula wejangan-wejangan gurunya, dan buku itu dikenal dengan nama Maqalat-i Syams Tabriz.
Rumi kemudian mendapat sahabat dan sumber inspirasi baru, Syekh Hisamuddin Hasan bin Muhammad. Atas dorongan sahabatnya itu, ia berhasil selama 15 tahun terakhir masa hidupnya menghasilkan himpunan syair yang besar dan mengagumkan yang diberi nama Masnavi-i. Buku ini terdiri dari enam jilid dan berisi 20.700 bait syair. Dalam karyanya ini, terlihat ajaran-ajaran tasawuf yang mendalam, yang disampaikan dalam bentuk apologi, fabel, legenda, anekdot, dan lain-lain. Karya tulisnya yang lain adalah Ruba'iyyat (sajak empat baris dalam jumlah 1600 bait), Fiihi Maa fiihi (dalam bentuk prosa; merupakan himpunan ceramahnya tentang tasawuf), dan Maktubat (himpunan surat-suratnya kepada sahabat atau pengikutnya).
Bersama Syekh Hisamuddin pula, Rumi mengembangkan tarekat Maulawiyah atau Jalaliyah. Tarekat ini di Barat dikenal dengan nama The Whirling Dervishes (Para Darwisy yang Berputar-putar). Nama itu muncul karena para penganut tarekat ini melakukan tarian berputar-putar, yang diiringi oleh gendang dan suling, dalam dzikir mereka untuk mencapai ekstase.