Ia biasa disapa dengan nama Abah Yat di Mojokerto, tempat ia dilahirkan dan dibesarkan. Ia adalah salah seorang santri Hadratussyekh KHM Hasyim Asy’ari, KH Abdul Wahid Hasyim, dan KH Ramli Tamim dan pejuang Hizbullah yang tak mengenal lelah.
Namanya Ahyat Chalimi. Ia dilahirkan pada 1918 dari pasangan H Abdul Halim dan Hj Marfu’ah binti Ali. Ia terlahir sebagai yatim piatu yang tak pernah mengenal wajah ayahnya. Ayahnya wafat ketia ia masih berada dalam kandungan tiga bulan. Ibunya wafat ketika Ahyat berusia 17 tahun (1938). Ia kemudian hidup bersama H Tohir, Pakdhe dari sebelah ibunya, yang telah menggantikan kasih sayang dari ayahnya. Dari perhatian sang Pakdhe, Abah Yat mengerti cara baca tulis al-Quran.
Pendidikannya dimulai dari Sekolah Rakjat Miji selama enam tahun di Mojokerto. Baru kemudian, ia menjadi santri Hadratussyekh KHM Hasyim Asy’ari dan KH Abdul Wahid Hasyim di Tebuireng. Bersama KH Abdul Wahid Hasyim yang gemar berdiskusi, ia sering terlibat dalam obrolan serius. Sehingga di kemudian hari, Abah Yat dikenal akrab sebagai sahabat sekaligus teman seperjuangan pada masa Revolusi Kemerdekaan.
Abah Yat melepas masa lajangnya pada 1940. Ia menikahi Badriyah, puteri KH Moh Hisyam, pengasuh sebuah pondok pesantren di desa Gayam, Mojowarno.
KH Munasir yang dikenal sebagai komandan pasukan Hizbullah pernah mengatakan, ”Pak Yat sejak kecil kelihatan kalau akan jadi kiai. Dia tidak pernah meninggalkan salat berjamaah, tidak pernah mau menggunjingkan teman-temannya, bahkan selalu menempatkan diri sebagai pelayan dari teman-temannya. Saya termasuk orang yang paling beruntung, ketika mondok di Tebuireng, karena nggak pernah ngeliwet atau bahkan mencuci pakaian. Itu semua dikerjakan oleh Pak Yat.” pengakuan serupa juga diberikan oleh kolega seangkatannya, seperti KH Abdullah Siddiq Jember dan KH Mansur Burhan.
Abah Yat wafat di Mojokerto pada 1991. Ia meninggalkan pesantren, sekolah, yayasan yatim piatu, rumah sakit, dan lain-lain.
Sebelum mendirikan pesantren, Abah Yat adalah seorang pegiat organisasi dan pengusaha yang sukses di Mojokerto. Berbagai organisasi digelutinya. Ia mendirikan organisasi Ansor Nahdlatul Ulama (ANO) atau Gerakan Pemuda Ansor (GP Ansor sekarang) Cabang Mojokerto. Ia pernah menjabat sebagai Sekretaris Tanfidziyah NU Cabang Mojokrto pada 1938-1940. Setelah cukup merasa bosan dengan aktivitasnya, Abah Yat kemudian merefleksikan diri agar hidup bermanfaat bagi orang banyak. Ia lalu melakukan rihlah (lelaku) dengan berjalan kaki ziarah Wali Sangha. Mulai dari Mojokerto, makam-makam para Masyayikh seputar Surabaya, Madura, Sunan Ampel, Raden Rahmatullah Gresik (kakak Sunan Ampel), Sunan Bonang, terus hingga ke Sunan Gunungjati. Tiba di makam Sunan Gunungjati, Abah Yat bermimpi ketemu gurunya, Hadratussyekh KHM Hasyim Asy’ari dan diberi dawuh (wejangan), “Muliho mengko, mulango, mengko sekabehane keturutan.” Pulanglah, mengajar, nanti semua (keinginan) akan kesampaian, tutur Hadratussyekh.
Abah Yat kemudian pulang ke Mojokerto dan mendirikan pesantren. Atas saran kiainya, KH Romli Tamim ia mengajar kitab Kasyifat Al-Saja’. Pada mulanya, ia hanya memiliki satu orang santri. Lambat laun semakin ramai dan banyak peminat. Pada 29 April 1964, KH Ahyat Chalimi mulai membangun surau dan berangsur menjadi pesantren. Pondok pesantrennya kemudian diberi nama Pesantren Sabilul Muttaqin.
Sejak awal Nahdltul Ulama (NU) bergerak pada politik praktis, namun setiap zaman selalu berbeda visi. Jika visi pertama untuk menggerakkan ekonomi melalui Nahdltut Tujjar, pendidikan melalui Nahdlatul Wathan, dan pencerahan pemikiran melalui Tashwirul Afkar, maka Komite Hijaz (panitia kecil) yang dipimpin oleh KHA Wahab Chasbullah memiliki visi membela tradisi dan situs-situs sejarah di Jazirah Arab. Demikian seterusnya hingga pada visi politik kebangsaan.
Gema Khittah NU 1926 yang menyerukan agar tidak berpolitik praktis sudah digagas oleh Abah Yat pada Muktamar NU ke-22 di Jakarta pada 1959. Kemudian, disusul pada Muktamar NU ke-23 (Solo, 1962), ke-25 (Surabaya, 1971), ke-26 (Semarang, 1979), seruan Khittah NU 1926 terus digalakkan oleh Abah Yat. Baru kemudian pada Musyawarah Nasional Alim Ulama di Kaliurang Yogyakarta (1981) dan Situbondo (1983), seruan Khittah NU 1926 mulai menguat dan mendapat dukungan. Puncaknya, pada Muktamar NU ke-27 di Situbondo (1984).