當時因為年輕，別人讓我幹什麼，我都很高興。我本來在進講武堂後，就擔任了我父親的衛隊營營長。但當時隻有19歲，又是講武堂的學生，所以所謂的衛隊營營長，隻不過是一個掛名。但是，張作相在我還沒從講武堂畢業時，就讓我當了第三混成旅第二團團長。
1920年，張學良從講武堂畢業後，又被任命為巡閱使署衛隊旅旅長。他提拔郭鬆齡當自己的參謀長。張學良是在講武堂結識郭鬆齡的，當時郭鬆齡是他的戰術教官，戰術學造詣很深，張學良特別崇拜與信任郭鬆齡。
張作霖還有意識地讓張學良在實戰中經受考驗，當上衛隊旅旅長的當年，張作霖就派他和郭鬆齡率部參加吉林、黑龍江的剿匪戰鬥。他在郭鬆齡的幫助下表現不錯，立了功，從此開始在奉軍中嶄露頭角。1921年5月，他和郭鬆齡又分別被任命為第三、第八混成旅的旅長。
接掌第三、第八旅之後，張學良、郭鬆齡采取新辦法，對部隊進行嚴格和科學的訓練，同時重用軍官學校出身的人，因而使這兩個旅的戰鬥力有很大提高。第一次直奉戰爭期間，張學良和郭鬆齡率領這兩個旅作為奉軍東路第二梯隊參加作戰，表現出遠高於其他奉軍的戰鬥力。尤其是在撤退時，部隊井井有序，損失很小。撤至灤河、山海關一線時，還成功地擔負起阻擊直軍的重任。
第三、第八旅在第一次直奉戰爭中的出色表現，充分地顯示出張學良、郭鬆齡采用的新式訓練法的優越性，張學良在奉軍中的威望也因此陡然上升，成為人們佩服的“少帥”。
這一切，張作霖看在眼裏，喜在心中。他決定把整頓奉軍的大權交給張學良。第一次直奉戰爭結束，張作霖回到奉天之後的某天晚上，他把張學良叫到自己的臥室，父子倆關上門，密談了很長時間。
談話一開始，張作霖就開門見山地對兒子說：“小六子，我和你合計一件緊要的事情。他媽拉個巴子，這一仗咱們輸得太慘了！十幾萬人的隊伍啊，隻在長辛店打了七天硬仗，全線就花搭了。要不是你和郭鬆齡的三、八旅打了幾場阻擊戰，隻怕撤也撤不下來了。唉！真他媽的窩火呀！”
張學良見父親仍在為打敗仗難過，便安慰說：“爹，勝敗乃兵家常事。咱們雖然一時敗了，但還有實力……”
未等兒子說完，張作霖就打斷了兒子的話：“送這服寬心丸沒啥用。今兒個我沒找外人，就是想聽聽你的實話。咱爺兒倆靠什麼？不就是靠槍杆子嗎？隊伍弄不好，就非垮台不可！這些天，我一直在琢磨，奉軍非改良不可了。可我又拿不準怎麼個改法。當著外人我不好誇你，說實話，我這回才看出來，你和郭鬆齡帶出來的軍隊還真有兩下子，打得上去，退得下來。這回你就多動動腦筋出出點子吧！”
聽父親這麼一說，張學良非常高興。他早就想對奉軍進行改革。以前不敢說，一則因為父親腦筋太舊，聽不進去；二則，礙於奉軍中許多老將堅決反對，他們沒有新的軍事知識，又害怕自己的既得利益受損。作為晚輩，張學良當然拗不過他們，隻好同郭鬆齡在三、八兩個旅中搞新式訓練。如今，父親終於醒悟了！張學良坦率地對父親說：“學良想，主要是培養和提拔新的軍事人才，其次是要加緊訓練精兵，整編龐雜的舊隊伍。俗話說，兵不在多，而在於精。對不中用的，必須淘汰。還有要加強空軍，籌建海軍……”
聽完兒子的建議，張作霖也很高興，當場就很幹脆地表態說：“中！就是要招攬人才，隻要是軍校出身的，不管是國產的，還是留洋的，咱們都要。隊伍的訓練，就照三、八兩旅的樣子搞……”
就這樣，父子倆商量出了一整套整軍計劃，並決定立即付諸實施。末了，張作霖又說：“他媽拉個巴子，這麼一大攤事，總得成立個總的機構來管。小六子，你說說看，這個機構叫個什麼名呢？”張學良想了一下回答說：“就叫‘東三省陸軍整理處’，行嗎？”張作霖連忙說：“好，就叫這個名。”為了爭取老將們的支持，細心的張作霖決定讓孫烈臣、張作相掛名當總監，讓薑登選、韓麟春等新派人物當副監，讓張學良當參謀長。老將們實際上並不管事，實權都握在新派人物、主要是在張學良手中。在討論“整理處”的人選時，張學良自謙地對父親表示，把他的名字擺在後麵比較好。對兒子的成熟，張作霖很高興，對兒子說：“好，他媽的有度量，讓外人看看咱們爺兒倆能容人。可有一點，空軍必須由你親自抓，親自管，這樣我才放心。”
就在父子倆這次密談之後不久，張作霖正式宣布成立“東三省陸軍整理處”，並以該處為主要機構，將整軍經武的各項措施付諸實施。
一是按照“不分畛域，整齊劃一”和“精兵主義”的原則，對東三省的所有軍隊進行整編，將其編為陸軍二十七個旅、騎兵五個旅。每個旅均轄有三個團。原有各師的番號，除保留第一、第二十七、第二十九師外，其他統統取消。這三個師所轄各旅亦在上述二十七個旅之中。對炮兵，也進行整編和擴充，除將原有的炮兵擴編為兩個獨立的炮兵旅和一個主炮團外，同時將配屬於各師、旅的炮兵團或炮兵營加以充實，並確保每個步兵團有一個迫擊炮連、一個機槍連。經過一番整編，奉軍原來那種編製混亂，機構設置、火力配備五花八門的狀態，得到了很大改變。
奉軍的整編，不僅僅是在編製方麵加以整理、統一，更重要的是汰弱留強，大刀闊斧裁減老弱或素質極差者。有的旅因毫無戰鬥力，甚至全旅被遣散。此次整編，奉、吉、黑三省的軍隊被裁汰的兵員總計達6.9萬人，並且補充了不少青壯新兵。到第二次直奉戰爭前夕，奉軍總兵員約為25萬人左右，人數雖然比以前有所減少，但卻精幹得多了。
二是整飭軍紀，鏟除積習，對第一次直奉戰爭中不聽指揮、臨陣逃脫、貽誤戰機的軍官加以懲辦。其中，被槍決的高級將領就有原第六混成旅旅長鮑德山、原呼倫貝爾鎮守使兼騎兵第二旅旅長張奎武、原第十混成旅第一團團長許益山等。此外，還有一些旅、團長被撤職。對重新整編後的軍隊，則規定了比較嚴格的紀律，如嚴禁官員吸食鴉片，如有發現，立即除名，並加以懲治；所有軍隊都不準缺額，如有違犯，輕則對該部長官記過罰薪，重則先撤後懲；各軍防區應嚴守區界，不準隨便移動，違者即治該部長官擅專違令之罪；各軍遇有奉命出戰或開拔剿匪時，需用車輛，須出價雇傭，不準分文不給地抓派，違者重懲不貸，等等。