Sebelum mendirikan Pondok Pesantren Al Awwabin, semenjak tahun 1962 Almaghfurlah Abuya KH. Abdurrahman Nawi membuka pengajian tradisional di kediaman beliau, di kawasan Jakarta Selatan, tepatnya di Gang Melinjo IV, jalan Tebet Barat VI H Sebuah pengajian yang diberi nama As Shalafiyyah, yang berarti mengikuti jalan hidup orang dulu. Yang baik baik ini, diikuti oleh masyarakat dari berbagai macam tempat di Jakarta dan sekitarnya. Pada pengajian ini beliau istikamah mengabdi kan diri dan menanamkan ilmu agama kepada masyarakat sekitar sembari juga masih gemar menuntut ilmu. Di antara para gurunya adalah Al Habib Ali bin Husein Al Athas Bungur dan Sayyidil Walid Al Habib Abdurrahman bin Ahmad As Shegaf.
Seiring berkembangnya waktu pengajian Abuya Nawi ini berubah menjadi perguruan Al Awwabin hingga selanjutnya berubah menjadi Yayasan Pondok Pesantren Al Awwabin dengan memiliki dua cabang yaitu Pondok Pesantren Al Awwabin Sawangan, Depok dan Pondok Pesantren Al Awwabin Bedahan Sawangan, Depok, dengan pusatnya berada di Tebet Jakarta Selatan.
Semenjak berdirinya pada tahun 1984 M hingga kini, Pondok Pesantren Al Awwabin Depok mengajarkan ilmu ilmu agama melalui pengajian pengajian kitab karangan para ulama salaf. Pondok Pesantren Al Awwabin juga berperan aktif dalam menyebarkan agama Islam yang berakidah Ahlussunnah Wal Jamaah. Hingga kini lulusan Pondok Pesantren Al Awwabin Depok sudah banyak menyebar ke masyarakat di berbagai daerah, dengan menebarkan islam yang ramah.