1907年對張作霖來說又是一個幸運的年份，從這年開始他就和北洋軍結下了不解之緣，也為以後去北京爭權奪利準備了充足的理由。1907年，清政府把盛京將軍改為東三省總督，此時袁世凱為了把持朝政，安排自己親信徐世昌調任東三省總督。
徐世昌上任之後首要的任務就是進行剿匪，由於當時兵力不足，武器落後，徐世昌也想借助在奉天的機會培養自己的勢力，所以，到了東北之後，徐世昌抓緊購置洋槍洋炮裝備，招募新軍，選用新式的練兵方式，組織起強大的武裝力量，這就是奉軍的由來。所以，當時的奉係可以看做是北洋派係的外係。徐世昌帶領新兵剿匪成功，得到了袁世凱的稱讚。此時遼西的杜立三據守要地，戰鬥力強大，難以剿滅，這使得徐世昌對小打小鬧的剿匪失去興趣，他要拿杜立三開刀來凸顯自己軍事上的才能，以為自己增添政績。
張作霖這時洞悉了他的想法，主動請纓剿滅杜立三。剛開始知道要剿滅杜立三時張作霖也在猶豫，因為張作霖與杜立三是結義兄弟。但張作霖心想，一旦杜立三被招安，恐怕要和自己爭奪位置，於是，在利益麵前，張作霖選擇先下手為強把杜立三殺死。張作霖就以清政府招安杜立三為名目來誘騙杜立三赴宴商談，開始杜立三不為所動，身邊謀士也認為這是一個鴻門宴，有去無回。最後張作霖搬出杜立三的一個族叔作為擔保（可見張作霖心狠手黑），等杜立三到宴會地點，張作霖就設計把他殺了。
誘殺杜立三後，張作霖收編了杜立三的手下，繳獲了杜立三的財產，還得到了徐世昌的提拔，升任奉天省巡防營前路統領。也正是如此徐世昌怕張作霖越做越大，把他調離了遼西，讓他去遼源等地去剿滅蒙古匪徒。雖然被外調，但張作霖後來還是輾轉回到了奉天，個中原因，有些人歸結為辛亥革命的爆發，給了張作霖重回奉天的機會，其實不然。即使沒有辛亥革命，張作霖也會回到奉天，張作霖能回到奉天並取得奉天的實際領導權靠的還是他的謀略。
張作霖正在和蒙古匪徒交戰之時，徐世昌已經被調離奉天，趙爾巽又被調回處理奉天事務。武昌起義的爆發也使得奉天處於高度戒備之中，當時藍天蔚、張榕都在軍中有官職，打算帶領新軍進行起義。哪承想武昌起義使奉天的起義沒能成功，政府下令各軍營原地待命。張作霖正是乘此機會快馬趕回奉天，連同袁金鎧向趙爾巽訴說當前形勢，讓其給自己兵權和更高的職位，暗中上報北京把藍天蔚的官職撤掉，並建議要在革命黨之前建立革命組織，以此來架空革命黨，把東北的輿論氛圍掌握在自己手裏。
當革命黨人還在沉浸在革命勝利的喜悅中時，還不知道有一雙充滿鮮血的手在伸向他們。省谘議局大會如期召開，趙爾巽在張作霖的陪同下戰戰兢兢地赴會，在會上，革命黨想通過會議的形式來決定東北三省將來所要走的政治路線，不料半路殺出個張作霖，把槍在桌子上上一摔，說道：“誰要和趙總督過不去，就是和我張作霖過不去。我很愛交朋友，但我的子彈卻喜歡喝血！”就這樣，在張作霖的鎮壓下，革命黨在奉天的起義宣告失敗。
這件事之後，奉天的軍政大權慢慢地開始向張作霖傾斜。後來，袁世凱忙著攻打南京，需要維持東北秩序，又派回了張錫鑾維護東北治安。在1914年，袁世凱對地方官員的設置進行了變更，撤銷了都督的稱呼改為將軍，張錫鑾一直是親袁派，在此次改製中對，袁世凱對張錫鑾大加提升，對張作霖卻維持原位，這就加深了張作霖對張錫鑾的嫉恨。雖然張錫鑾在奉天已經被張作霖架空，但張作霖是想把官位坐得名正言順。張錫鑾為了擺脫張作霖的掣肘也曾多次以辭職來請願袁世凱撤掉張作霖，不過，由於日本人出麵，張錫鑾的計劃沒能成功。
對於張錫鑾與張作霖的矛盾，袁世凱決定盡快處理，便召張作霖進京商談。這次見袁世凱，張作霖表現得又驚又怕，他花費重金請袁世凱身邊的紅人段芝貴等陪同前往，見到袁世凱後行跪拜大禮，口中還說：“叩見、叩見。”之後在交談之中無不表現出一副粗俗的樣子，這樣一來就打消了袁世凱的戒心，張錫鑾得知袁世凱沒有撤職張作霖後心灰意冷，最後終於辭去了奉天的職務。張作霖在期盼奉天大權落到自己身上之時，袁世凱正在忙於複辟帝製，任命他的親信段芝貴來到奉天任職。張作霖表麵上阿諛奉承，段芝貴的父親貪財，張作霖就投其所好送上大量金銀財寶，在段芝貴父子麵前做盡好人，並積極響應袁世凱複辟稱帝。張作霖聯合馮德麟等奉天十九位高級軍官發電聲援袁世凱，為其稱帝提供了後方保障。袁世凱稱帝成功後大封百官，當時袁世凱處在了人民的聲討之中，許多地方也都鬧起了獨立反對袁世凱複辟帝製，張作霖就借此來脫離與袁世凱的聯係。在聲討大潮中，袁世凱還寄希望於張作霖，他在與南方軍戰敗之後想讓張作霖帶兵支援，張作霖卻說少槍少炮、少糧少餉，袁世凱給足軍餉之後張作霖卻借故拒絕出兵，還在袁世凱覆滅之際狠狠地坑了他一把。