Untuk menghemat ongkos, dia harus mengayuh sepeda dari Kotagede ke IKIP Yogyakarta (sekarang UNY) sejauh 7 kilometer. Sepeda butut yang menurutnya sudah tidak nyaman dipakai. Saat itu Syafii masih harus menyelesaikan studi doktoral di IKIP Yogyakarta.
Akhirnya karena kondisi ekonomi, sang istri terpaksa harus pulang ke Padang bersama anak pertama mereka.
Karena kondisi itu, saat meninggalnya anak pertama mereka yaitu Salman pada usia 20 bulan, Syafii tidak berada di samping istri dan anaknya.
Sebab dia berada di Yogyakarta untuk menyelesaikan studi doktoral di IKIP Yogyakarta, sementara Nurkhalifah berada di Padang.
Anak kedua mereka Iwan, juga hanya berumur dua tahun dan meninggal pada Oktober 1973.
Pasangan Syafii dan Nurkhalifah hanya memiliki putra semata wayang yaitu Mohammad Hafiz yang lahir pada 25 Maret 1974.
Buya Syafii mengaku sangat bersyukur mempunyai istri yang sangat pengertian, yang telah menemaninya mengarungi susah manisnya kehidupan berumah tangga.
Baca juga: Buya Syafii: Di Mana-mana Komunisme Sudah Runtuh Kok...
Bahkan dalam sebuah wawancara, Buya Syafii masih selalu heran kepada istrinya.
Sebab istrinya termasuk perempuan yang cantik, terpandang, dan dari keluarga saudagar kaya, namun mau menikah dengannya dan menjalani masa-masa keprihatinan pada awal pernikahan di Yogyakarta.
"Dia bunga desa di sana dan sementara secara materi saya tak punya bekal apapun, termasuk tidak punya persiapan untuk sekadar membayar mas kawin," kata dia.
Seperti dikutip dari otobiografinya, setahun sebelum menikah atau selama bertunangan, Buya diterpa kabar bohong atau sekarang dikenal dengan hoaks.
Kabar hoaks yang menyebar di kampung halamannya menyebutkan Buya sudah mempunyai anak di Baturetno dan Lombok. Kabar itu sempat membuat calon istrinya menderita dan tertekan.
"Istri saya termasuk bunga desa dan anak orang terpandang. Kok bisa dapat saya anak piatu yang miskin, mungkin di situ ada yang tidak senang. Nah, waktu itu saya lama merantau, dikata sudah punya anak di Lombok atau Baturetno," ungkap Buya.
Menurut Syafii, kabar tersebut jelas-jelas bohong. Sebab untuk menghidupi dirinya sendiri saja di perantauan serba kekurangan.
Bahkan cincin pertunangan yang dipasang di jari istrinya, dibeli sendiri oleh Lip.