Nabi Muhammad lantas menunjuk Abu Ubaidah untuk membimbing mereka mengenai ajaran Islam.
Baca juga: Perang Hunain: Penyebab, Strategi, dan Akhir Pertempuran
Ketika Nabi Muhammad wafat pada 632 M, terjadi masalah suksesi yang menimbulkan perselisihan di antara umat Muslim.
Umar sempat meminta Abu Ubaidah untuk menyalonkan diri sebagai khalifah, tetapi menolak.
Setelah itu, Abu Ubaidah menjadi komandan tentara Muslim dalam beberapa pertempuran dan berperang bersama Khalid ibn al-Walid.
Di bawah komando Khalid, mereka berhasil mengalahkan tentara Bizantium (Romawi Timur) pada 30 Juli 634 M.
Satu minggu kemudian, Abu Ubaidah bersama Khalid bergerak menuju Damaskus dan mengalahkan tentara Bizantium lainnya dalam Pertempuran Yakusa pada pertengahan Agustus 634 M.
Sesampainya di Damaskus, pasukan Muslim langsung mengepung kota, di mana Khalid memerintah Abu Ubaidah untuk mengepung Gerbang Jabiya Damaskus.
Karena kalah telak, pasukan Bizantium diberi waktu untuk melakukan gencatan senjata selama tiga hari dan diizinkan pergi sejauh mungkin bersama keluarga dan harta mereka.
Baca juga: Masa Kekhalifahan Abu Bakar As Siddiq
Pada 22 Agustus 634 M, Khalifah Abu Bakar wafat dan digantikan oleh Umar. Tidak berselang lama, Abu Ubaidah diangkat sebagai panglima perang.
Dengan jabatan barunya itu, kiprah Abu Ubaidah di medan perang semakin menanjak. Seperti diketahui, ia segera menaklukkan Levant Tengah, terjun dalam Pertempuran Emesa dan mengalahkan tentara Bizantium dalam pertempuran kedua di Damaskus.
Selain itu, Abu Ubaidah dan Khalid masih berdampingan dalam Perang Yarmuk, penaklukan Yerusalem, mempertahankan Emesa, dan penaklukan Al-Jazira.
Pasca-kemenangan dalam pertempuran-pertempuran tersebut, Abu Ubayda mengirim Khalid dan Iyad ibn Ghanm untuk merebut Edessa, Amida, Malatya, seluruh Armenia hingga Ararat dan menyerbu Anatolia utara dan tengah.
Setelah itu, Umar menghentikan invasi untuk sementara waktu, dan memerintahkan Abu Ubaidah, yang telah ditunjuk menjadi Gubernur Suriah, untuk mengkonsolidasikan kekuasaannya di Suriah.
Baca juga: Perang Yarmuk, Perang Pembuka Islam Melawan Kekaisaran Romawi
Setelah Abu Ubaidah pindah ke Jabiya, di Suriah, ia terkena serangan wabah. Ia pun meninggal pada 639 M.
Penyebab meninggalnya Abu Ubaidah bin Jarrah adalah karena wabah. Sebelum meninggal, ia memberi wasiat kepada pasukannya untuk selalu mendirikan salat, berpuasa Ramadan, bersedekah, melaksanakan ibadah haji dan umroh, serta untuk tetap bersatu dan saling mendukung.