Setahun kemudian, Halim mendirikan sebuah organisasi bernama Hayatul Qulub.
Hayatul Qulub yang berdiri tahun 1912 ini tidak hanya bergerak di bidang pendidikan saja, melainkan juga bidang perekonomian.
Hal ini disebabkan Halim yang ingin mengembangkan lembaga pendidikan sekaligus perdagangan.
Sayangnya, organisasi yang juga bergerak di bidang dagang ini tentu akan memiliki pesaing, khususnya dengan pedagang Cina yang cenderung berhasil di bidang perdagangan.
Kala itu, pemerintah Hindia Belanda lebih banyak membela kepentingan pedagang Cina, mereka diberi status hukum yang lebih kuat dibanding kelompok pribumi.
Pada 1915, persaingan memuncak ketika pemerintah Hindia Belanda menuduh organisasi Hayatul Qulub menjadi dalang penyerangan toko-toko milik orang Cina di Majalengka.
Akibatnya, organiasi Hayatul Qulub dibubarkan.
Baca juga: Syekh Yusuf: Asal Usul, Perjuangan, dan Pengasingan
Setelah Hayatul Qulub bubar, pada 16 Mei 1916, Halim secara resmi mendirikan lembaga pendidikan baru, yaitu Jam'iyah al-l'anat al-Muta'alimin.
Setahun kemudian, HOS Cokroaminoto mendukung lembaga tersebut, yang akhirnya dikembangkan dan namanya diubah menjadi Perserikatan Ulama.
Meskipun Halim aktif di berbagai organisasi, ia tetap memfokuskan perhatiannya pada bidang pendidikan.
Sehingga pada 1932, ia mendirikan Santi Asromo.
Dalam lembaga pendidikan ini Halim tidak hanya memberi pengetahuan soal agama dan pengetahuan umum, tetapi juga keterampilan sesuai bakat anak didiknya.
Kemudian, sewaktu masa awal pendudukan Jepang, beberapa partai dan organisasi politik diberhentikan, termasuk Perserikatan Ulama.
Kendati demikian, Abdul Halim terus berusaha agar organisasinya tersebut tetap dapat hidup kembali.
Usahanya pun membuahkan hasil pada 1944, tetapi namanya berubah menjadi Perikatan Oemat Islam (POI).