馬援回來後，隗囂跟他同臥同起，向馬援詢問東方的傳言和京師的得失利弊。隗囂兩廂比較決定臣服於東漢，於是派長子隗恂去作人質，馬援帶著親眷隨隗恂一起到了洛陽。過了數月沒有接到任命，馬援發現三輔（漢朝的三個行政區劃：馮翊、扶風和京兆）地區土地肥沃，原野寬廣，而自己帶來的賓客又不少，於是便上書給光武帝，請求率領賓客到上林苑屯田。光武帝答應了他的請求。
陳情致意，分崩離析
公孫述多次出兵侵擾漢中，劉秀派人征求隗囂的意見，想進兵西蜀，如何討伐公孫述。隗囂上書說，關中兵力單薄，盧芳又在北方為患，現在還不是伐蜀的時候。劉秀便知道他不願天下統一，而想兩邊觀望，從中取利，於是對他漸漸冷淡，僅以君臣之禮相待。隗囂欲自尊，且為人多疑，有遠見的賓客、名士都漸漸離開他歸附了劉秀。馬援在洛陽，數次寄書責勸，又給部將楊廣寫信，讓其勸說隗囂。隗囂恨他背叛自己，愈加忿怒，後劉秀伐蜀，隗囂遂發兵拒漢。
隗囂反叛後，馬援給光武帝上書，說明了事情原委，並表示自己願為東漢王朝效力，獻計獻策，消滅隗囂。光武帝果然召見了他，派馬援率領000突騎來往於隴陝之間，遊說羌族的豪長和隗囂手下的將領高峻、任禹等人，向他們陳說禍福利害，做分化工作。接著，馬援又寫信給隗囂的右將軍楊廣，懇切地陳情致意，認清當時的形勢，喻之以情，曉之以理，希望他能醒悟，歸順東漢，並去勸說隗囂。信寫得通情達理，文情並茂。然而楊廣卻沒有回音，隗囂仍然執迷不悟。但這封信很快傳開，並在隗囂營壘中引起了震動。
漢光武帝建武八年（公元32年）春天，隗囂兵分五路進攻漢朝，公孫述也派兵協同，進攻略陽（今甘肅天水張家川回族自治縣西），光武帝決心集中力量征討隗囂。這年夏天，光武帝親自統軍討伐隗囂。當時東漢大司馬王遵的老朋友牛邯是隗囂的大將，早有歸附東漢之心，王遵便寫信去勸他來降。不久，牛邯來到洛陽，立即被任命為太中大夫。這事震動很大，一下子隗囂的大將13人、屬縣16個、士兵10餘萬，都投降了東漢。
首創沙盤，進行推演
漢光武帝率軍到達漆縣（今陝西鹹陽彬縣）時，不少將領認為前途情況不明，勝負難卜，光武帝身為皇帝不該遠入險阻。光武帝也猶豫不定，難下決心。正在猶豫不決的時候，恰好馬援星夜趕來，光武帝高興極了，立即召見，並把諸將的議論原原本本地告訴了他，讓他發表意見。馬援不慌不忙地對雙方形勢作了精辟的分析，他認為隗囂的將領已有分崩離析之勢，如果乘機進攻定獲全勝。說著他命人取些米來，當下在光武帝麵前用米堆成山穀溝壑等地形地物，然後指點山川形勢，標示各路部隊進退往來的道路，其中曲折深隱，無不畢現，對戰局的分析也透徹明白。光武帝邊聽邊看頓時明了，高興地說：“敵人全在我的眼中了！”
第二天，光武帝揮軍直進，抵達高平第一城（今寧夏固原市）。當時涼州牧竇融率河西五郡（指敦煌、酒泉、張掖、武威、金城）太守及羌、小月氏等步騎數萬、輜重車000輛與劉秀會合，分數路攻隴。隗囂大將13人及部眾10萬餘人不戰而降，隗囂逃至西城（今甘肅天水西南），支援隗囂的西蜀軍李育、田弇逃至上邦（今甘肅天水）。漢軍占天水16座屬縣，劉秀派吳漢、岑彭圍西城，以耿彝圍上邦。至此，隗囂軍主力基本上被漢軍消滅。整個戰役幹淨利落，顯示了馬援出色的軍事才能。