Sayangnya keberhasilan Tjokroaminoto ini hanya bertahan hingga 1917, di mana beberapa anggota mulai merasa tidak puas dengan pendekatan Tjokroaminoto yang kooperatif dengan pemerintah Hindia Belanda.

Tantangan pertama muncul dari SI Sumatera, yang dipimpin oleh Goenawan dengan dukungan dari Samanhoedi. Berawal dari kekecewaan terhadap penolakan usulan posisi komisaris yang lebih banyak dari SI Sumatera di CSI, SI Jawa Barat dan Sumatera berinisiatif untuk melepaskan diri dari CSI.

Pada akhirnya perlawanan Goenawan ini bisa dihentikan karena adanya tudingan penggunaan uang partai untuk kepentingan pribadi.

Tantangan kedua muncul dari Semaoen, yang justru merupakan salah satu anak kosnya di Gang Peneleh.

Semaoen memulai pengalaman politiknya sebagai Ketua Sarekat Islam Semarang. Dalam setahun kepemimpinannya (1916-1917), Semaoen berhasil menambah jumlah anggota SI Semarang secara signifikan.

Namun, pendekatan yang digunakan Semaoen berbeda dengan Tjokroaminoto. Semaoen memimpin berbagai aksi pemogokan yang dengan cepat menyebar ke seluruh Jawa. Ia juga mulai mengkritik pendekatan kooperatif yang dilakukan oleh Tjokroaminoto.

Akhirnya pada tahun 1917, Tjokroaminoto pun mulai mengubah pendekatan yang digunakan. Tjokroaminoto memulai gerakan Djawa Dipa, yang merubah bahasa Jawa tinggi menjadi Jawa rendah. Ia juga menggalang Tentara Kandjeng Nabi untuk membela Islam dan memulai perlawanan kepada Hindia Belanda termasuk melakukan pergerakan buruh.

Perubahan pendekatan ini berujung pada penahanan beberapa pimpinan SI, termasuk Tjokroaminoto sendiri.

Pada tahun 1923, perpecahan dalam Sarekat Islam semakin terlihat. Program yang diusung pasca Kongres Madiun 1923 pun banyak ditentang.

Hingga akhirnya Alimin, Darsono dan Semaoen pun membentuk Sarekat Rakyat (yang dikenal juga sebagai SI Merah). Sementara Tjokroaminoto, Agoes Salim, Abdel Moeis, dan A.M. Sangaji mendirikan Partai Sarekat Islam Hindia Timur yang kemudian berubah menjadi Partai Sarekat Islam Indonesia.