Dia bersama dengan tokoh muslim Tionghoa, Abdussomad Yap A Siong dan Kho Goan Tjin mendirikan Persatuan Islam Tionghoa Indonesia (PITI) di Jakarta, pada hari Jumat, 14 April 1961. Organisasi ini merupakan gabungan dari dua organisasi: (1) Persatuan Islam Tionghoa (PIT) di Medan, pimpinan Abdussomad Yap A Siong, dan (2) Persatuan Tionghoa Muslim (PTM) di Bengkulu, pimpinan Kho Goan Tjin.
Tujuan berdirinya organisasi ini adalah untuk mempersatukan: (1) muslim Indonesia dengan muslim keturunan Tionghoa, (2) muslim keturunan Tionghoa dengan dengan etnis Tionghoa, dan (3) umat Islam dengan etnis Tionghoa.
Namun, karena tekanan rezim Orde Baru (Orba), Persatuan Islam Tionghoa Indonesia (PITI) mengubah namanya menjadi Pembina Iman Tauhid Islam (PITI), pada hari Jumat, 15 Desember 1972. Tapi perubahan ini tidak menyurutkan dan mengurangi daya dan nilai perjuangan organisasi PITI. Pada bulan Mei 2000 di era Pemerintahan Gus Dur, melalui rapat pimpinan organisasi tersebut menetapkan kepanjangan PITI dikembalikan pada Persatuan Islam Tionghoa Indonesia.
Untuk mengenang jasa-jasanya sejumlah organisasi Islam dan beberapa tokoh muslim Tionghoa mendirikan Yayasan Haji Karim Oei tahun 1991. Yayasan ini kemudian mendirikan dan mengelola masjid-masjid muslim Tionghoa di Indonesia, seperti Masjid Lautze di Pecinan, Jakarta. Selain itu, dia juga menerima Bintang Mahaputera Utama dari Pemerintah Republik Indonesia pada hari Selasa, 9 Agustus 2005. Penghargaan ini ditetapkan pemerintah berdasarkan Keppres Nomor 056/TK/TH. 2005, Tanggal 9-8-2005.