Pasukannya bertemu dengan pasukan Muawiyah di Siffin. Keduanya bertempur dan dikenal dengan nama Perang Siffin.
Perang ini berakhir dengan takhim atau arbitrase. Tapi takhim tak menyelesaikan masalah.
Bahkan, takhim menyebabkan munculnya golongan ketiga, yakni Al Khawarij atau orang-orang yang keluar dari barisan Ali bin Abi Talib.
Masa kepemimpinan yang penuh gejolak ini membuat tak banyak warisan yang ditinggalkan Ali.
Salah satu dari sedikit warisan itu yakni penyempurnaan bahasa Arab.
Baca juga: Masa Kekhalifahan Umar bin Khattab
Ali memerintahkan Abul Aswad Ad Duali untuk memberi tanda baca dan menulis kitab-kitab Nahwu (tata bahasa).
Harapannya, muslim dari luar Arab dapat mempelajari Al-Quran dan Al-Hadis dengan benar.
Ali juga membangun kota Kufah di Irak sebagai pusat pemerintahan dan pusat pengembangan ilmu pengetahuan.
Di akhir masa pemerintahan Ali bin Abi Talib, umat terpecah menjadi tiga golongan, yakni:
Muawiyah
Syiah, pengikut Abdullah bin Saba' al-Yahudi yang menyusup barisan tentara Ali bin Abi Talib
Al Khawarij, orang-orang yang keluar dari barisan Ali bin Abi Talib
Ini menyebabkan tentara makin lemah. Hingga pada 20 Ramadan 40 H atau 660 M, Ali bin Abi Talib dibunuh oleh Abdullah bin Muljam, anggota Khawarij.
Baca juga: Masa Kekhalifahan Usman bin Affan