Sebagai alumni dari sebuah pondok pesantren, K.H. Mama Suarta Abdul Qohhar mempunyai rasa tanggung jawab yang besar untuk mengembangkan ilmu agama terhadap masyarakat. Pada tahun 1950 didirikanlah sebuah lembaga pendidikan yang disebut Madrasah Diniyah atau lebih dikenal dengan sekolah Agama. Tujuan didirikannya Sekolah Diniyah ini adalah untuk menampung warga masyarakat yang ingin belajar tentang agama, membangun masyarakat yang berakhlakul karimah, serta dapat meningkatkan kualitas ketakwaan kepada Allah SWT.
Pada tahun 1968 – 1974 Madrasah Diniyah mengalami peningkatan yang cukup signifikan sehingga atas inisiatif sesepuh Madrasah itu sendiri, dan didorong oleh berbagai kalangan baik masyarakat dan pemerintah setempat, maka pada tahun 1974 berdirilah sebuah lembaga sekolah dasar islam atau lebih dikenal dengan Madrasah Ibtidaiyah (MI) Nidlomushibyan diatas tanah wakaf yang terletak Kp. Kayumanis Desa Sukatani (dulu masih Desa Ciapanas) Kecamatan Pacet Kabupaten Cianjur. Lembaga pendidikan ini didirikan atas dasar musyawarah yang dihadiri oleh tokoh masyarakat di lingkungan tersebut. Sejak saat itu banyak warga setempat mendaftarkan putra-putrinya untuk masuk ke MI Nidlomushibyan.
Sejak saat itu, Madrasah Ibtidaiyah Nidlomushibyan sebagai lembaga pendidikan formal pertama yang didirikan oleh Yayasan Pendidikan Islam Syamsul Qohhar mengalami perkembangan yang cukup besar, baik dari segi kualitas maupun kuantitasnya. Dari tahun ke tahun lulusan MI Nidlomushibyan mengalami peningkatan yang sangat besar. Atas dasar hal tersebut dan atas tuntutan dari masyarakat sekitar, dewan penasihat beserta pengurus YPI Syamsul Qohhar bersepakat untuk mendirikan sebuah lembaga pendidikan tingkat Tsanawiyah sebagai wadah bagi siswa yang ingin melanjutkan pendidikan ke jenjang selanjutnya.
Pada tahun 1993, cita-cita untuk mendirikan sebuah lembaga pendidikan tingkat Tsanawiyah dapat diwujudkan berkat dukungan dari berbagai pihak. Atas kesepakatan bersama madrasah tsanawiyah tersebut diberi nama MTs al-Qohhariyyah, sebuah lembaga pendidikan tingkat tsanawiyah yang berdiri di bawah naungan Yayasan Pendidikan Islam Syamsul Qohhar.
Namun dalam perjalanannya, eksistensi MTs al-Qohhariyyah pernah mengalami beberapa kendala sehingga baru pada tahun 1999 MTs al-Qohhariyyah terdaftar sebagai lembaga penyelenggara pendidikan di Departemen Agama (sekarang Kementrian Agama).
Pada tahun 2005 MTs al-Qohhariyyah telah diakreditasi dengan hasil penilaian C, dan pada tahun 2013 MTs al-Qohhariyyah mengalami peningkatan dengan hasil akreditasi B.
