Sarekat Islam menjadi basis awal Salim dalam berpolitik. Sikap dan gagasannya mewarnai langkah-langkah strategis Sarekat Islam di kemudian hari.
Meskipun demikian, keterlibatan Agus Salim dengan SI sempat diwarnai isu miring, salah satunya adalah tuduhan kepadanya sebagai mata-mata Belanda. Meskipun demikian, Salim tidak dijauhi oleh Tjokroaminoto maupun tokoh SI lainnya. Sebaliknya, tokoh-tokoh SI menerima kehadiran Salim dengan suka cita.
Peran penting Salim semakin terlihat saat SI harus menghadapi SI Semarang yang berhaluan komunis di bawah pimpinan Semaoen. Salim-lah salah satu tokoh SI yang dipandang mampu menghadapi paham sosialis SI Semarang yang menggerogoti ideologi SI secara keseluruhan.
Lewat strateginya, Salim berhasil menyelamatkan SI dari selundupan pengaruh kamunis yang berseberangan dengan nilai dasar Islam dan kerap memunculkan perpecahan internal.
Selain di SI, Salim juga memiliki kesibukan lain di Volksraad (Dewan Rakyat). Lembaga bentukan Belanda ini awalnya sempat diapresiasi oleh Salim, namun ternyata di kemudian hari tidak sesuai dengan harapannya.
Lembaga yang kerap disebut “pemanis” itu ternyata tidak memiliki pengaruh apa-apa terhadap kebijakan pemerintahan Belanda. SI yang kecewa kemudian memilih keluar dari Volkstraad.
Berubah menjadi partai dan bersikap nonkooperatif adalah gagasan Salim yang kemudian diterapkan pada SI. Terjadilah kemudian yang namanya politik hijrah SI. SI berganti nama menjadi PSI (Partai Sarekat Islam) dengan tujuan kemerdekaan nasional dengan dasar Islam.
Dalam perjalanannya, PSI berganti nama jadi PSII dengan menyematkan nama Indonesia di belakang. Di kemudian hari, nonkooperatif ternyata menjadi hambatan bagi gerakan partai karena pemerintah Belanda mulai secara agresif membatasi gerak PSII.
Setelah menjadi pemimpin partai, Salim mencoba mengubah haluan partai untuk kembali kooperatif. Gagasan ini menimbulkan pro dan kontra di internal PSII. Abikoesno Tjokrosoejoso, pimpinan harian PSII dan juga adik dari Tjokroaminoto, menolak membahas usulan Salim dalam kongres ke-22 PSII.
Merasa tidak puas, setelah kongres Salim menarik diri dari partai dan mendirikan Barisan Penyadar PSII.
“Selama lima tahun di Arab Saudi, bertambah dalam sikap saya terhadap agama, dari tidak pecaya menjadi syak, dari syak menjadi yakin mengakui keadaan Allah dan agama Allah”
-Agus Salim-
