增太太到達奉天後，立即把途中遇險和張作霖誠心棄暗投明的願望說與增祺，並且把張作霖的實力和他的為人以及她本人對張的看法，詳細地向丈夫敘說了一遍。增祺聽太太和幾個親信隨員說的這些情況後，一時大為動容，經過考慮後，決定奏明清廷，並命新民府知府曾子顧把張部眾收編為省巡防營。這是清光緒二十八年（1902年）的事情。從此以後，張作霖和他的三個助手就成為奉天省防軍的正式軍官了，仍駐在新民，負責維持這一帶地方治安。過了不久，增祺召張作霖到省城晉見，張做賊心虛，托故讓張景惠頂替他去省城，被增的左右識破，稟明了增祺。增知道張作霖有所顧慮，加以原諒，並指示張景惠說：“隻要你們真能為朝廷效命，我就一定準許你們戴罪立功，決不會欺騙你們的。現在奉天省還有杜立山等幾個匪幫為害地方，應密告張作霖相機圖之，如能為地方除掉這些巨患，那就是你們的大功，將來一定還要重用你們的。”張景惠受到增的撫慰之後，回到新民如實對張作霖說明。張作霖聽後，又羞愧又感動，同時內心也就打定了主意。
張作霖早期辦公室奉天各匪幫中，實力最雄厚的算是杜立山了。他在匪中獨樹一幟，除對馮麟閣以老前輩相待，特別尊重外，認為其餘各匪首均不足掛齒，驕橫傲慢，目空一切。杜和金萬福不常來往，對於張作霖的投降，認為是沒有小子骨頭，加以鄙視。而日俄戰爭後，除馮、金兩匪幫助日軍攻陷首山有功，經日本建議清廷收編為省防營，其他零星小幫已大部被張作霖陸續消滅。到了1907年（光緒三十三年），隻有杜立山一股還為害遼西一帶，未被消滅。這時徐世昌已任東三省總督兼練兵大臣，帶了一鎮（即一師）陸軍兵力到奉天，以壯聲勢，首先嚴令新民府知府沈金鑒和張作霖二人共同負責，限期剿滅杜立山匪眾，逾期不滅，惟他們兩人是問。其實張作霖在被收編前就認為杜立山是上眼皮子了，收編後更視其為眼中釘，早已打定主意要消除他，隻是苦於難得下手的機會。在未動幹戈前，對杜立山是強攻還是智取，他們進行了仔細的商討。杜立山自詡為馬上皇帝，馬上功夫了得，能雙手使槍，彈無虛發；且城池堅固，徒眾凶頑，關卡林立，防備極嚴。如像以前那樣派兵強攻，恐師勞無功，難以奏效，因此，決定智齲他們設了一計。張作霖派人到遼中縣送上一封賀信，祝賀杜立山被奉天省招撫，當上了大官，官位比張作霖還高。讓杜立山速到新民府來麵謁省裏的招撫大員，以便到奉天向徐世昌總督致謝。杜立山有所察覺，不敢貿然行動。同他母親和兄弟商量，他們也認為到新民凶多吉少，都不主張他去。
此計落空，張作霖沒有灰心，又生一計。他想到了黑山秀才杜泮林。杜泮林是張作霖的義父。張作霖在中安堡當保險隊頭目時，同紳士杜泮林結下交情，來往密切，關係甚篤。張作霖知道杜立山拜認杜泮林為同族叔，對其言聽計從，十分尊重。張作霖就想打杜泮林的主意。他和殷鴻壽密謀，用杜泮林引誘杜立山上鉤。
張作霖特地親自到黑山把杜泮林接到新民府，並把他引見給省城大員殷鴻壽，以證明確實是省裏招撫杜立山，並非虛構。張作霖又在新民街上，為杜泮林另設招待處，請杜泮林在招待處稍事休息，候杜立山來到之後，一同晉升。秀才杜泮林是老實人，不知是計，就給杜立山寫了一封親筆信，言辭懇切，感情真摯。有“遊俠非終身之事，梁山豈久居之區；一經招安，不僅出人頭地，亦且耀祖榮家”等語。
杜立山本來疑信參半，猶豫不定。突然得到他素來景仰的族叔的親筆信，便疑念頓消，決定前往。於是，他在1907年6月6日僅率13人作為隨身護衛，由宋慶濂帶領，奔向新民府，接受封官去了。他哪裏知道此是有去無回了。張作霖為了不出意外，事先作了周密布署。杜立山隻身赴會，十分警惕。在晉見委員殷鴻壽時，他坐在背靠牆壁麵對諸人的位置，同時兩手插入兜內，握住槍柄，觀察動靜，以應突變。談話完畢，殷高聲喊道：“送客！”杜起身告辭，殷送至裏屋門口，杜轉身請殷“留步”時，突被湯玉麟等幾個壯漢按倒，下了雙搶，死死捆祝事不宜遲，當晚就把杜立山在新民府西門外槍決了。其實，在這之前，張作霖早已派張景惠率大隊人馬，繞道台安八角台，做好進擊杜立山老巢的準備。得到處決杜立山的消息後，張景惠等迅速出擊杜立山的老巢。群龍無首，他的老巢遼中縣青麻坎，被一舉端掉。除掉了杜立山，掃除了一大害，遼西匪患遂絕，人心稱快。
任清軍巡防營統領時的張作霖杜立山這個多年啃不動的硬骨頭，被張作霖輕而易舉地剔除了。他采用的是智取的謀略，這顯示了張作霖過人的智慧。得此消息，總督徐世昌喜出望外，上報清廷，為張作霖請獎。清廷除賞銀5000兩外，將張作霖升為奉天巡防營前路統領（旅長），管轄馬步5營。其他還有中路、左路、右路、後路等4路統領。張作霖成為東北舊軍五個舉足輕重的武裝力量之一，勢力更加壯大了。
1908年，徐世昌把剿匪得力的張作霖調到遼寧西北部的通遼、洮南一帶，去剿除被沙俄收買的蒙古叛匪。據有關人士回憶：“洮南一帶係幹燥的草原，草有一二尺高，一望無邊。夏日蚊蟲甚多，大者如蜜蜂，叮人很厲害。據我個人的回憶，雖在夏天，都得用棉花把頭包上，否則寸步難行。狼群更多，一群就是十幾條。當時隊裏的通信人員（當時叫做跑撥子的）往往被狼吃掉，剩下馬跑回來……蒙古軍隊都是一個人乘兩匹馬，騎一匹，備一匹，力量足，跑得也快。以上種種，都是蒙軍優於漢軍的地方，所以張作霖清剿蒙匪不是一件容易的事情。”洮南一帶是廣闊無垠的大草原，是蒙匪活動的根據地。他們熟悉地形，了解民情，精於騎射，出沒無常。他們行蹤無定，多用奇襲，打了就跑，渺無蹤跡。其中，有幾股大的蒙匪，如白音大賚、牙仟、陶克陶胡等，都“擾害邊疆，至數年之久，此剿彼竄，滋蔓難除，國家視為巨寇”。
這些“巨寇”不除，國家不得穩定，百姓不得安寧。張作霖當此重任，開始時並不順利。後來，他采用了強攻和智取的兩種策略，派人打入蒙匪內部，取得情報，而逐漸扭轉了劣局。1909年，徐世昌看到張作霖的兵力不足，便給他擴編，增強他的實力。把5個營擴編為7個營，又將駐紮在洮南的孫烈臣部劃歸張作霖部。這樣張作霖的部隊增至3500人，成為東北的一支勁旅。
張作霖是個很知道感恩的人。受到東三省總督徐世昌如此青睞、如此器重，他剿匪更加努力。同時，他也在不斷地總結剿匪的經驗教訓，摸索出一套可行的規律。他本人也吃苦耐勞，身先士卒。因此，又經過年餘苦戰，終於將白音大賚擊斃，生擒牙仟，並打敗了陶克陶胡。後來追擊陶克陶胡800裏，一直將陶克陶胡趕到俄國。危害東北邊疆多年的蒙患解除了，打擊了蒙古分裂主義分子的囂張氣焰，維護了國家的統一和民族的團結，張作霖此功是不可沒的。
在張作霖的政治生涯中，他於1911年智進奉天省城，是一大手筆。1911年10月10日爆發了武昌起義，是謂辛亥革命。各省紛紛響應，脫離清政府，宣布獨立。奉省的革命黨人張榕、寧武、商震等早有活動，新軍中也有吳祿貞、藍天蔚等從事革命活動。武昌起義的消息傳來，東北革命黨人群情振奮，準備積極響應。當時以藍天蔚為協統（旅長）的新軍第二混成旅駐紮在奉天的北大營，這是省城的惟一一支駐軍。藍天蔚又是革命黨人，他如果抓住機會及時策動反正，可以立見成效的。他確實也在和革命黨人張榕緊密磋商，秘密醞釀起義。
但是，由於經驗不足，他們沒有抓住先機。1911年5月趙爾巽又任東三省總督。辛亥革命爆發時，他正在外視察，得到消息，便急忙趕回奉天，並連夜開會，研究對策。當他得知握有兵權的藍天蔚等革命黨人正在醞釀起義時，頓時嚇得不知所措，表示他即將入關，也就是說，準備逃跑了。這時奉天省谘議局副議長袁金鎧立即跪求勸阻，並建議重用巡防營舊軍。這個建議使趙爾巽如獲至寶，茅塞頓開。他思忖，地方巡防營的將領都是忠於他的守舊軍人，同革命黨人沒有任何聯係，正是他可以利用的鎮壓革命黨人的軍事力量。他立刻來了精神，馬上密調後路巡防營統領吳俊升率部自通遼迅即來奉天，以防備革命黨人起事。
然而，這個重要消息卻被張作霖在奉天的部下探知。這個人就是張作霖駐奉辦事處處長張惠臨。張惠臨深知事關重大，就以最快的速度，把這個消息密報給張作霖。張作霖是個有很大政治野心的人，他不甘心在西北的洮南待一輩子，為此，他早就在觀察奉天省城的動靜。他曾密囑到奉天講武堂學習的各營管帶張景惠、湯玉麟、張作相等，注意省城的軍政動向，並及時寫信報告。同時，他對全國的政治形勢也是極為關注的。得到這個重要消息，他認為這是天賜良機，不可錯過。他當機立斷，親率所轄步騎7個營的全部人馬，從洮南出發，馬不停蹄，日夜兼程，直奔奉天。路過通遼時，吳俊升等出城迎接，張作霖與其虛與委蛇，未露實情。
到達奉天省城後，張作霖為爭取主動權，決定馬上晉見趙爾巽。
東三省奉天府總督衙門大堂上，總督趙爾巽背著雙手在大堂上慢慢地踱步，雖然早晨空氣清新，衙門裏沐浴著陽光，但這總督大人看上去萎靡不振，顯得老態龍鍾了。這時，張作霖大步流星地走進來，他倒顯得精神興奮，道：“給總督大人請安——召見卑職有何差遣？”
趙爾巽回了個禮，道：“張統領真是大忙人兒啊！我好幾天都請不到你埃”
張作霖忙道：“總督大人請恕罪！可是大人也看見了，自打我進到省城，一直沒個家，就跟個跑腿子一個樣。這陣子得空了，才買了個宅院，打算拾掇拾掇就把老婆孩子接來。可真是應了那句話，人怕出名豬怕壯！我給朝廷和總督大人幹了點事，這捧臭腳的人都把門檻子踢破嘍。尤其我那幫把兄弟更是跟著瞎鬧騰！成天保媒拉纖兒地，非叫我再娶幾房太太，我實在推不開就留下幾個。求總督大人別怪罪我這陣子沒來給您老請安，也別笑話我貪戀女色……”
趙爾巽擺了擺手，大量地說：“不怪！一點不怪！曆朝曆代，凡是新貴，都是這個樣子的。”
張作霖忙回稟：“我可不是啥新貴，大人有啥吩咐，卑職還要效犬馬之勞。”
趙爾巽端起茶，喝了一口，又放下：“我啥吩咐都沒有啦！我為你上專折向朝廷請功，現在朝廷的聖旨下來了。”
張作霖大喜，立即站起作揖：“聖旨到了？”
趙爾巽點了點頭，臉上卻是一副悵然若失的表情：“到了好幾天了。”
張作霖跌足道：“哎呀！下官真是罪該萬死！罪該萬死！”
趙爾巽看了他一眼，他已經習慣了張作霖的表演，所以也不放在心上，當下，從桌上拿起聖旨：“你拿去看看吧。”
張作霖忙後退兩步：“下官可不敢！下官得聆聽大人宣讀啊！”
趙爾巽仍坐著，見張作霖要跪下，忙阻攔說：“你就坐著聽吧。”
張作霖不免詫異，指著聖旨，有點又驚又疑：“下官可不敢＊—大人拿的真是聖旨嗎？不是拿我開玩笑？”
趙爾巽拎著聖旨放到張的眼前，微笑著說：“你看，是真的聖旨。”
張作霖湊上一眼，忙後退一步，跪了下來，道：“那大人要坐著，下官可不敢，我還是跪著聽沒毛玻”
趙爾巽一臉嚴肅地宣讀聖旨：
奉天承運，皇帝詔曰：茲奉天統領張作霖，鎮壓亂黨決策果斷！不動聲色，連斃三首凶，又肅清奉省亂黨機關！實足以快人心而彰顯懲罰威嚴。特破格升賞該統領任關外練兵大臣！賞戴花翎。將其所部改為二十四鎮。以總兵銜任巡防營務處總辦。欽此！
張作霖接過聖旨，一眼觀之不足，兩眼觀之不盡，口中頌恩：“謝主龍恩！萬歲萬歲萬萬歲——總督大人，這練兵大臣該是幾品啊？”
趙爾巽徐徐地說：“至少是二品或從二品吧。”
張作霖喜形於色：“哎呀！下官有啥功啊！皇恩太浩蕩啦！下官真是受寵若驚啊！”
趙爾巽看著張作霖高興勁兒，卻又長歎一聲：“這聖旨早幾天給你多好啊！誰知道你忙著買房子搬家，又娶好幾房姨太太……”
張作霖作出一副扭捏狀：“大人大人！說好了別笑話我，這……”
趙爾巽道：“我哪有心思說笑啊！你現在手裏捧的是一道廢旨！”
張作霖失聲叫出來：“廢旨？”
趙爾巽傷感地說道：“剛才收到電報，皇上……遜位啦！”
張作霖一時不明所以，問道：“啥是遜位？”
趙爾巽心想張作霖到底是土包子，當下沒好氣地解釋道：“就是退位！”
張作霖更吃驚了，一時還沒有明白這局勢，怎麼變天變得這麼快，道：“皇上退位了！那當今皇上是誰啊？”
趙爾巽“哼”的一聲，激憤地說：“沒有皇上了！大清滅亡啦！”
張作霖呆坐椅上，手中聖旨落地，忍不住痛哭流涕：“啊！總督大人，往後咱們靠誰啊？靠誰啊？”