和叛軍以及羌人交戰，馬寧也做了充分的準備，他從山丹軍馬場購買了大批的優良戰馬，近水樓台先得月嘛，然後將安定、北地、上郡三郡的郡國兵和邊軍以及羌人士兵統一整編成護羌軍。
以他和臧霸帶過來的一千禁軍以及燒何羌的三千羌騎為核心，馬寧又從漢軍和其他羌人部族裏麵挑選了四千人，組建了一支八千人的護羌軍，全部由騎兵組成。
根據他以往遊俠的經曆以及從軍這幾年的作戰經驗，馬寧對這支騎兵有了一些新的想法，並且大膽的進行了嚐試，效果非常的好。
這支護羌新軍擁有漢軍標準的強壯體魄、嚴明的軍紀和遊牧民族的騎射功夫，甚至是上馬就是輕騎兵，下馬就是標準的步兵，漢軍的強弩、長矛代替了羌人的角弓和鐵叉，黑鐵盔甲、青銅盔甲裝備到每一個人。
漢人和羌人打亂編組，馬寧要求他們明白每個人在戰場都是並肩作戰的兄弟，是可以把後背交給對方的，不分羌人、漢人，在護羌新軍，所有人的戰功獎賞是一樣的，沒有種族區分。
馬寧重新編組了護羌軍的建製，十人為一隊，設什長，五隊為一屯，設屯長，另外設一個書記官，負責統計軍功和軍紀，書記官必須識文斷字，十屯為一營，設軍侯和督導各一人，分別負責作戰和軍紀監督。
五營為一團，每團設軍司馬和監軍各一人，同樣是分別負責指揮作戰和軍紀監督、戰功統計，護羌軍現在就整編了三個團，馬寧、臧霸和麴義分別擔任三個團的軍司馬。
馬寧在組建護羌軍的時候，尤其注重官兵的文化素質，他優先挑選識字甚至是念過書的人加入護羌軍，反正這個時代的寒門子弟，要想進入仕途，參軍不失為一個良好的選擇。
馬寧要求每個書記官在訓練之餘，都要教導本屯的官兵學習漢字，他認為讀書識字能夠讓一個人聰明起來，更能夠明事理，有利於訓練、作戰和保持嚴明的軍紀。
馬寧沒有想到這一舉措成為了馬寧所轄軍隊日後的一大特色，也是幫助他取得一個又一個勝利的巨大保障，雖然他自己也沒有領悟其中的全部道理，卻不影響他走在一條正確的路上。
馬寧從匈奴人和羌人那裏學到了很多騎射方麵的先進之處，並且加以改良，比如他給他的騎兵裝備了馬鞍和馬鐙，還給所有的戰馬打了馬掌。
馬鞍是跟羌人學的，這樣可以讓騎兵保持長久的戰鬥力，節省體力，增加舒適度，馬鐙則是跟匈奴人學的，這樣可以在一定程度上解放雙手，使得奔馳之中瞄準射箭成為可能。
馬鐙還有一個更重要的功能，卻是幫助護羌軍裝備的秘密武器，取得更好的效果，馬掌則是從西域傳過來的，有利於增強戰馬的負重和長途奔襲的能力。
護羌軍的首戰就是攻打先零羌，馬寧首先放出消息，自己要攻打牢姐羌，一路上護羌軍都是大張旗鼓的前進，一直到達上郡。