Şam'da 5. Ordu'nun emrinde kaldığı üç yıl içinde Suriye'nin hemen her yerini görevle dolaşmış, memleket idaresindeki aksaklıkları, ordunun eğitim ve öğretimindeki eksiklikleri daha da yakından görmüştü. Mustafa Kemal, burada 1906 yılı Ekim ayı içinde güvendiği bazı arkadaşlarıyla gizli olarak "Vatan ve Hürriyet Cemiyeti"ni kurdu. Bu arkadaşlarıyla beraber Beyrut, Yafa ve Kudüs'te de kurdukları cemiyeti genişletti. Bir ara gizli olarak Mısır ve Yunanistan yoluyla Selânik'e geçerek burada da "Vatan ve Hürriyet Cemiyeti"nin bir şubesini açtı ve tekrar Şam'a döndü. Şam'dan ayrılması hükûmetçe duyuldu ise de âmirleri kendisini koruduğundan bir ceza yoluna gidilmedi. Bir süre daha Şam'da kaldı. Bu sıralarda 20 Haziran 1907 tarihinde Kolağası (kıdemli yüzbaşı) oldu ve Şam'daki Ordunun Kurmay Başkanlı'ğında bir göreve getirildi.

    Mustafa Kemal, 13 Ekim 1907'de merkezi Manastır'da bulunan 3. Ordu Karargâhına atandı. Bu Karargâhın Selânik'teki şubesinde çalışmak üzere Selânik'e geldi. Bu sıralarda Selânik'teki "Vatan ve Hürriyet Cemiyeti" üyelerini de içine almış olan ittihat ve Terakki Cemiyeti" faaliyet halinde idi. Mustafa Kemal de Selânik'e gelişini takiben bu cemiyete dahil olarak hizmet görmeye başladı. Memleketin istibdat idaresinden kurtarılması, yapılacak yenilikler onun da temel düşüncesiydi. Selânik'e gelişini takiben kısa bir süre sonra 22 Haziran 1908 de Üsküp-Selânik arasındaki demiryolu müfettişliği de 3. Ordu Karargâhındaki görevine ek olarak kendisine verildi. Bu esnada Rumeli'de büyük faaliyet gösteren "İttihat ve Terakki Cemiyeti" Abdülhamit'i,1876 Anayasasını yeniden yürürlüğe koymaya ve kapatılan Meclis-i Mebusan'ı tekrar toplantıya çağırmaya zorlamaktadır. "Ittihat ve Terakki Cemiyeti nin bu girişimleri adım adım II. Meşrutiyetin ilânına uzandı.

   23 Temmuz 1908 tarihinde İkinci Meşrutiyet ilân edildiği zaman Mustafa Kemal, Kolağası rütbesiyle Selânik'te askerî görevini sürdürmekte, bir yandan da "İttihat ve Terakki Cemiyeti" içinde çalışarak İstanbul'daki siyasi gelişmeleri yakından izlemektedir. O, II. Meşrutiyet gibi büyük bir inkılâbı takiben yapılanları kâfi görmüyor; bu fırsattan yararlanılarak memlekette daha büyük ve daha köklü değişikliklerin gerçekleştirilmesi gereğine inanıyordu. Fakat kendisinin görüşleri "İttihat ve Terakki Cemiyeti ileri gelenlerinin görüş ve düşüncelerine uymadı. Buna rağmen fikirleriyle zamanın söz sahibi kişilerini uyarmaktan da çekinmiyordu.

   II. Meşrutiyet'in ilânı üzerinden henüz bir sene geçmemişti ki İstanbul'da 13 Nisan 1909'da bu harekete karşı, gerici çevrelerce desteklenen büyük bir isyan gelişti. Mustafa Kemal, 31 Mart Vak'ası olarak bilinen bu isyanı bastırmak üzere Rumeli de oluşturulan Hareket Ordusu'nun Kurmay Başkanlığı'na getirildi ve bu ordu ile 19 Nisan 1909 tarihinde İstanbul'a geldi. Hareket Ordusu'nun gerek yolda gerekse İstanbul'daki sevk ve idaresinde Kurmay Başkanı olarak önemli hizmetler gördü. Hareket Ordusu'nun İstânbul'a girdiği gün halka hitaben yayımlanan beyannameyi kendisi yazmıştı. Hareket Ordusu'nun duruma hakim oluşundan sonra Abdülhamit tahttan indirildi, yerine Sultan Reşat getirildi. Mustafa Kemal, bu gerici olayın bastırılmasından sonra İstanbul'da çok kalmayarak 16 Mayıs 1909'da tekrar Selânik'e döndü. Bu sıralarda Selânik ve çevresinde yapılan mânevralarda, tatbikatlarda düşünce ve görüşlerini cesaretle savunuyor; bu ise bazı üstlerinin dikkatini çekerken bazılarının da tahammülsüzlüğüne sebep oluyordu. Kendisi, bir yandan da askerî eğitim konuları üzerinde telif ve tercüme eserler hazırlıyordu.

   O, II. Meşrutiyet'i takiben Ordu'nun "İttihat ve Terakki Cemiyeti" ile sıkı alâkasının ve siyasete karışmasının tehlikelerini sezinlemeye başlamış, bu görüşlerini 22 Eylül 1909'da Selânik'te toplanan "İttihat ve Terakki Bûyük Kongresi"nde açıkça dile getirmişti. Fâkat Cemiyetin önde gelenleri onun bu görüşlerini paylaşmadılar. Mustafa Kemal de kendisini Cemiyetten uzak tutarak doğrudan doğruya askeri vazifesine verdi. "İttihat ve Terakki Cemiyeti" ile anlaşmazlığı ve aralarının açılması böyle başladı.

   Mustafa Kemal, Selânik'teki görevini başarı ile yürütürken 1910 yılı Eylül ayında askeri manevraları izleme amacıyla Fransa'ya gönderildi. Burada Fransız Ordusunu ve komutanlarını yakından tanıdı. Selânik'e dönüşünden kısa süre sonra 1911 Mart'ında Arnavutluk'ta bir isyan çıktı. Bu isyanı bastırmak üzere düzenlenen harekâtta Harbiye Nazırı Mahmut Şevket Paşa'nın yanında görev aldı.