Sebelum mendirikan Pondok Pesantren Al-Awwabin, semenjak tahun 1962, Almaghfurlah Abuya K.H. Abdurrahman Nawi membuka pengajian tradisional di kediaman beliau, di kawasan Jakarta Selatan, tepatnya di Gang Melinjo IV, jalan Tebet Barat VI H. Sebuah pengajian yang diberi nama As-Shalafiyyah, yang berarti “mengikuti jalan hidup orang dulu yang baik-baik” ini, diikuti oleh masyarakat dari berbagai macam tempat di Jakarta dan sekitarnya. Pada pengajian ini beliau istikamah mengabdikan diri dan menanamkan ilmu agama kepada masyarakat sekitar sembari juga masih gemar menuntut ilmu. Di antara para gurunya adalah Al-Habib Ali bin Husein Al-Athas Bungur dan Sayyidil Walid Al-Habib Abdurrahman bin Ahmad As-Shegaf. Seiring berkembangnya waktu, pengajian Abuya Nawi ini berubah menjadi perguruan Al-Awwabin hingga selanjutnya berubah menjadi Yayasan Pondok Pesantren Al-Awwabin dengan memiliki dua cabang, yaitu: Pondok Pesantren Al-Awwabin Sawangan, Depok; dan Pondok Pesantren Al-Awwabin Bedahan, Sawangan, Depok, dengan pusatnya berada di Tebet, Jakarta Selatan.
Semenjak berdirinya pada tahun 1984 M hingga kini, Pondok Pesantren Al-Awwabin Depok mengajarkan ilmu-ilmu agama melalui pengajian-pengajian kitab karangan para ulama salaf. Pondok Pesantren Al-Awwabin juga berperan aktif dalam menyebarkan agama Islam yang berakidah Ahlussunnah Wal Jamaah. Hingga kin lulusan Pondok Pesantren Al-Awwabin Depok sudah banyak menyebar ke masyarakat di berbagai daerah dengan menebarkan islam yang ramah.