酒泉太守辛武賢認為罕、開部落與先零羌關係密切，應該全力進攻，以剪除先零羌之羽翼。辛武賢的意見得到朝中大臣的一致認同，連皇帝本人對趙充國按兵不動的做法也相當不滿。漢宣帝寫信批評道：“如今戰爭爆發，馬匹車輛萬裏轉輸，致使天下百姓煩憂，將軍不考慮政府的難處，統率萬人之眾，卻不積極進擊……戰爭的消耗巨大，將軍卻不念此，準備將這場戰爭拖延數年之久。要是打仗這麼輕鬆，誰不樂意當將軍呢？”
趙充國回複道：“罕、開兩個部落，雖與先零羌關係緊密，然而並未正式叛亂。陛下將首惡先零羌放在一旁，反倒要攻擊罕、開部落，豈不是釋有罪、誅無辜嗎？”他認為隻要擊破先零羌，罕、開部落可不戰而降。
趙充國運氣很好，他遇上千載難逢的明君。漢宣帝對老將軍的意見極其重視，下詔停止對罕、開部落的攻擊，集中力量打擊先零羌。
先零羌圍攻西部都護府失敗後，數番挑戰，趙充國置之不理，堅壁清野。先零羌久戰無功，士氣低落，趙充國抓住機會，發動突襲，先零羌被打個措手不及，奪路而逃，慌忙向湟水的對岸撤退。趙充國命令軍隊不緊不慢跟著，部將大惑不解，不是應該快馬疾鞭追殺嗎？老將軍笑道：“窮寇不可逼得太急。我們慢慢進逼，他們就會頭也不回地逃竄，要是逼得太急，困獸也會拚死相鬥。”
果然，先零羌人爭先恐後渡河，亂成一團，被擠下水淹死者達數百人，另有五百餘人來不及渡河，成了階下囚。先零羌此役損失千餘人，更要命的是，損失牛、羊、馬等牲畜十餘萬頭，車輛達四千輛。
漢軍渡河西進，進入罕羌的地盤。趙充國嚴令禁止士兵放火焚燒村落，也不準在田裏割草放牧。罕羌見漢軍秋毫無犯，心中感激，首領靡忘親自前來歸順，並承諾撤離湟水穀地。罕羌退出與先零羌的同盟，趙充國兵不血刃，便瓦解了先零羌最重要的盟友。
在漢軍的逼迫下，先零羌被迫退入貧瘠的山區。進入深秋後，缺衣少食，大量羌人向漢軍投降。僅幾個月，趙充國已收容先零羌一萬多人。他估計先零羌內部已經矛盾重重，便給皇帝寫了一折奏章，請求將騎兵撤走，隻留下屯墾部隊，打算長期待下去，坐等先零羌的崩潰。
趙充國要以和平手段解決羌亂，朝中大臣都希望能以武力早日解決。對此，趙充國在奏章中分析說：“民族之間的問題非常微妙，失之毫厘，差以千裏，先零羌固然不足為慮，但如果不妥善處理，反叛蔓延到其他部落，到時縱然有智慧超群的英雄，也無能為力……羌人習性悍勇無比，容易用計謀瓦解，難以用重兵粉碎。《孫子兵法》雲：百戰而百勝，非善之善者也；先為不可勝以待敵之可勝。高明的將領擊敗敵人，並不損傷自己的實力，以謀略取勝為上策，力戰取勝隻是下策。”
宣帝從善如流，堪稱千古楷模。他沒有輕易否決趙充國的建議，再次致書：“依將軍的計劃，羌虜幾時可以誅滅？戰爭何時可以結束？”
趙充國再奏：“先零羌的精銳部隊，剩下的不過七八千人罷了。因為沒有肥沃的土地，先零部落隻得分散在各個山區，忍饑挨餓，前來歸附投降者絡繹不絕。老臣認為，先零羌的覆滅，最遲在明天春季。”
漢宣帝認可趙充國的分析，然而，他又不能忽視其他將領的要求。辛武賢等人堅決主張速戰速決，力主出擊，否則兵力集中於青藏高原，河西走廊的防禦將長時間空虛。這聽起來也有道理，宣帝幹脆雙管齊下：趙充國的部隊繼續留守湟水穀地屯墾；強弩將軍許延壽、破羌將軍辛武賢、中郎將趙卬，兵分三路，進擊先零羌。
漢軍勢如破竹，許延壽兵團降服先零羌四千人，辛武賢兵團斬俘兩千人，中郎將趙卬斬俘兩千多人。而靜守在湟水地區進行屯田的趙充國兵團，不動一刀一槍，自動跑上門投降的羌人達五千之多。事實證明，趙充國以和平手段降服先零羌是卓有成效的。漢宣帝於是召回許延壽、辛武賢、趙卬，隻留下趙充國的屯墾兵團。
趙充國以守代攻，派出歸降的羌人前往先零部落，極力勸降，對先零羌的瓦解起到至關重要的作用。第二年（前60）五月，前來投降的先零羌人已達三萬之多，負隅頑抗者僅剩四千餘人。趙充國將戰爭掃尾工作交給歸降的罕羌部落，罕羌酋豪靡忘不負所望，收降剩餘的四千人。至此，羌亂得以平息。
平羌之役，乃是趙充國軍旅生涯的代表作。這場戰爭，是“不戰而屈人之兵”軍事原則的典範。正由於趙充國采取分化瓦解敵人陣營的高明政策，最後使得羌亂局限於一個很小的範圍，以最小的代價迅速平息了一場邊疆危機。