Pada usia 22 tahun, Salim sudah bekerja sebagai drogman (penerjemah) di Konsulat Belanda di Jeddah, Arab Saudi. Karena hanya dia yang muslim, Salim memiliki keleluasaan untuk keluar masuk Mekah dan Madinah sebagai perwakilan konsulat Belanda.

Di Saudi, tidak jarang Salim mengunjungi pamannya, Syeikh Imam Ahmad Khatib Minangkabauwi, untuk belajar agama. Di sana Salim mendapatkan pemikiran Islam lewat diskusi panjang lebar dengan pamannya yang merupakan Imam Besar madzab Syafi’I di

Mekah. Kegalauan spiritualnya pun menemukan banyak jawaban dari Sang Paman. Pada tahun 1911, Salim memutuskan untuk mengundurkan diri dari pekerjaannya karena ingin menikah.

Kepulangan Salim ke Indonesia mempertemukannya dengan SI serta murid Syaikh Ahmad Khatib lainnya seperti Ahmad Dahlan dan Hasyim Asy’ari. Dalam beberapa hal ada kesamaan pemikiran di antara mereka.

Walaupun tergolong “moderat” dalam beragama, Agus Salim tetap menolak ajaran yang dianggapnya tidak berasal dari Islam, misalnya adat budaya yang berkembang.

Pandangan tersebut terlihat dari sikapnya terhadap ide-ide Kartini yang oleh sebagian kalangan dijadikan alat untuk mempromosikan emansipasi wanita. Salim berpandangan bahwa surat menyurat Kartini dengan sahabatnya tentang ajaran Islam dan budaya Jawa tidak lebih dari pandangan pribadi yang tidak dimaksudkan untuk disebarluaskan.

Namun Salim juga terkenal akan pandangan agamanya yang selaras dengan modernitas. Karena itu ia sempat diundang untuk memberikan kuliah tamu di Cornell University. Dalam kuliah-kuliahnya di sana, Salim menyampaikan pandangan Islamnya secara praktis sehingga dapat dipahami oleh pemeluk agama lain.