獲得隴西，是劉秀統一天下極其重要的一個環節。東漢得到了當時作為邊防要地的河西走廊地區，不但拱衛了西北邊防，更打開了南下平定公孫述、一統天下的大門。在這關鍵的一步中，初來乍到的馬援起到了關鍵作用。
在平定隗囂一戰中大展宏圖的馬援，對劉秀統一天下的貢獻，才剛剛開始。隗囂勢力灰飛煙滅後的第四年，即公元35年，馬援終於被劉秀正式啟用，得到了統軍一方的職位——隴西太守。這是一個掌握隴西軍政大權的要職，統轄的屬地包括原先隗囂割據的地盤。之所以將這個職務委任給馬援，一是他在此地居住多年，熟知情形，二是在當時，這是一個極其棘手、幾乎沒人敢幹的工作。
沒人敢幹，是因為當地有一股沒人敢打的羌族勢力。
當時隴西地區主要的少數民族是羌族，而且當時羌族分布很廣，隴西境內有羌族部落，境外也有羌族不斷侵擾，內外夾擊下，當地戰火連年。隗囂在時，對羌族部落主要以拉攏為主。那時，塞外的羌族部落不斷侵擾，有的甚至成群結隊進入隴西平原，侵占漢人土地，掠奪村莊和牧場。和匈奴人不同的是，羌族雖然總體實力不如匈奴人，但是他們勢力分成多股，相互勾搭連環，且精於騎射，既彪悍又難於對付。對付羌族人，就好比拳頭打跳蚤，用大兵團進剿，人家見了你就跑，你追得氣喘籲籲，連敵人的影子都看不到，如果小分隊進兵，又容易被人吃掉。所以從西漢末年開始，隴西地區的羌族叛亂侵擾越演越烈，幾乎到了無法收拾的地步。東漢帝國西北的屏障長此下去，必然邊防糜爛。
一般將領對付這樣的敵人，都是見一股打一股，哪裏有敵人往哪裏打，但是當馬援到達的時候，問哪裏有敵人，得到的答案是到處都有，根本打不過來。當時騷擾隴西的羌族部落，大大小小加起來共有上百支，既有數股大部落聯合團夥作案，也有小股分散搶劫。主要的作戰方式，是沒有漢軍的時候就開搶，漢軍來了就開溜，漢軍要追擊就打埋伏。找找不到，追追不上，一不留神，還要被人打一個悶棍。和這樣的對手作戰，怎麼打是個大問題。
這些問題在馬援看來，卻一點兒也不是問題。馬援本來就是擅長騎兵作戰的將領，他親自帶出來的騎兵，是當時最強的騎兵軍團。對付羌族這樣的對手，他的原則隻有一個：你快，我比你更快。所以馬援很快就出手了，他先在臨洮打敗了先零羌，斬首數百人，給了當地各部落一個下馬威。接著又直抓重點，集中解決盤踞在浩亹的叛亂勢力。這裏集中著八大羌族部落的近十萬羌兵，打敗他們，也就穩定了整個隴西的局勢。
既然是重點地區，就不好對付。當地的羌人不但很能打，而且還很能耍詐，以往的幾路漢軍，都是吃了他們的埋伏才戰敗的。漢軍到後，羌軍故意把大量的物資輜重散落在漢軍行走的要道上，企圖誘使漢軍為搶輜重發生混亂，這招用在馬援身上卻不靈。馬援帶兵嚴格，他手下的兵，都令行禁止、紀律嚴明，大堆金銀財寶擺在麵前，竟然眼皮都不眨一下。正當羌軍納悶時，突然後院起火了，原來馬援早派精銳騎兵抄敵人後路，一下子把羌軍後方的老窩給端了，數萬羌軍大亂，漢軍趁機發起總攻，一舉擊潰敵人。值得一提的是，在這次戰鬥中，馬援身先士卒，每戰都衝鋒在前。因為兵少，他帶來參戰的軍隊不到三千人，卻一舉擊潰了近十萬羌軍。這一戰的最大意義，不在於消滅了多少敵人，而是讓馬援一下子在羌人的心中樹立起“神勇天將軍”的威名。從此以後，隻要聽到馬援的名字，隴西羌人各部無不望風而降。
馬援不但能打，還很能拉攏。浩亹之戰獲勝後，馬援本可以乘勝追擊，繼續建立戰功，但他卻宣布收兵，然後派使者對隴西境內的羌人部落進行招撫。懾於馬援的威名，大批羌族部落不但歸順，而且在馬援的授意下，給隴西境外的羌族部落捎話：隻要歸順漢朝，一切既往不咎，否則就動兵消滅沒商量。結果，無論隴西內外，各地羌族部落紛紛放下了武器。此後馬援主動給他們土地和農具，並派專人教習羌人耕種，幫助羌人轉為農耕生活。他還鼓勵羌族與隴西漢族相處雜居，甚至互相通婚。當時，隴西南麵的青海樂東地區是一個戰略防禦要地，但因為地處偏遠，不易治理，漢帝國上下都建議主動放棄這塊國土。馬援卻堅決反對，他認為此地雖然偏遠，但是土地肥沃，水草豐美，如果能在當地屯墾開發，必然可以供應邊防錢糧。在他的力主下，三千多漢軍在當地建立了屯墾基地。與此同時，馬援又修繕當地水利，疏浚河道，使樂東的水流可以灌溉整個隴西郡南部地區，河西走廊的農業從此迅速發展起來。到唐朝時，隴西已經成為中國最富庶的地區之一。唐朝人“天下富，出隴右”的諺語，正緣起於此時。
馬援在隴西太守任上一共幹了六年，他在任的六年，是隴西地區戰火漸熄，民族仇恨消弭，漢羌兩族和睦相處，經濟高速發展的六年。和當年的趙充國一樣，沙場上威風八麵的馬援，也是一個邊防的建設者，他追求的，同樣是國家的長治久安。馬援對羌族的種種恩惠，也讓他在羌族人中樹立了極高的威信。公元38年，臨洮村民為搶水而發生械鬥，當地縣令以為是羌族造反，慌忙報告馬援，馬援不慌不忙，朗聲大笑道：“笑話，有我在，羌人怎麼可能造反！”大國名將的慷慨自信，千載之下音容宛然。 四
得遇明主劉秀後，馬援好比一個救火隊員，哪裏有危險往哪裏衝，最難打的仗、大家都不願意打的仗，都要派他去打。
在隴西做了六年太守之後，馬援因戰功被提拔入洛陽，成為虎賁中郎將，掌握了東漢帝國最精銳的騎兵軍團。之後三年裏，他最主要的政績，是促成了東漢王朝的幣製改革。此時的東漢王朝麵臨和西漢初期同樣的局麵，國家沒有統一的貨幣鑄造標準，各種錢幣在市場上流通，甚至王莽新朝時期的貨幣也作為法定貨幣使用。早在就任隴西太守之前，馬援就曾建議恢複西漢時期的貨幣五銖錢，但當時他的方略比較簡略，因此未被劉秀采納。從隴西回來後，馬援以自己做地方官的經驗，再次補充了當年的方略，將奏章仔仔細細修改後呈送給劉秀，終於說服了劉秀。公元42年，東漢的官方貨幣五銖錢正式發行。此舉改變了自西漢末期開始中國社會貨幣混亂的局麵，東漢經濟的恢複與騰飛，也與此有很大關係。事實證明，馬援又對了。
馬援因為平定隴西羌族的戰功，成為當時東漢政壇炙手可熱的政治明星。馬援除了能打外，口才也好得很，說起戰鬥故事來滔滔不絕。劉秀雖然好儒學，但同樣不忘記加強武備。馬援歸京後，劉秀多次專門組織皇子宗室召開大型論壇，要馬援為大家講述當年的戰鬥故事，每次馬援都娓娓道來，憑傑出的口才讓大家聽得入迷，幫助劉秀做好“憶苦思甜”教育。馬援還很善於打比方，有一次，在向劉秀陳奏怎樣剿滅山林叛亂者時，馬援打了個比方，說要剿滅山林的叛亂者，就必須打掉他們的巢穴，這就好比一個人頭上生了虱子，就必須剃掉頭發，頭上的虱子就無處藏身了。劉秀聽了後很是欣賞，竟一時心血來潮做了個實驗：讓宮裏頭上有虱子的太監都剃成光頭。
馬援很快又接到了一個“救火”任務，這次要去南方的交趾國，馬援的任務恰恰就是“剃頭”。
交趾國，即西漢時期納入中國版圖的南越故地，當時的領土包括今天中國的廣西地區，以及越南的北部地區。在東漢時期，趁著中原變亂，這裏也扯旗立國，再次成為接受漢帝國統治的南方諸侯國。劉秀在位時，交趾國的大權掌握在當地女貴族征側、征貳兩姐妹手裏。這是兩個非常彪悍的女人，早就不滿足接受漢帝國的管轄，一心想在南方自立為王。她們與漢帝國關係交惡的導火索，是她們主動找事，襲擊廣東地區的漢朝村鎮。之後遭到了當地太守孫定的報複性還擊，給了她們起兵的口實。公元41年，征側、征貳姐妹正式起兵造反，一下聚集數萬人，交趾、九真等大部分地區都落入她們手中。禍不單行的是廣西其他越族部落也紛紛擺脫漢帝國自立，一下子戰火四起。
消息傳來，劉秀立刻決定出兵平叛。但這次的事情很難辦，東漢的軍隊，大多都習慣在北方作戰，北方人居多，對於南下作戰幾乎沒有任何經驗。交趾地區濕熱的環境和瘟疫，也讓漢軍極不適應。這自然又是一場沒人敢打的仗。沒人敢打，馬援敢，公元42年，馬援被任命為伏波將軍，率部南下征討叛亂。
比起當年征討羌族，這次征戰極不順利。交趾軍隊最擅長的就是叢林戰，在密密麻麻的越南熱帶雨林裏，交趾人大打遊擊戰，利用遊擊、陷阱、毒弩等方式，不斷殺傷漢軍。馬援的得力部將樓船將軍段誌，也在戰鬥中犧牲。在連遭傷亡的情況下，馬援清楚意識到，再這麼打下去，就算有一百萬人，也遲早要死光。馬援腦子轉得快，叢林戰打不過你，現學是來不及了，但我幹嗎非要和你在叢林裏打？改路！隨後漢軍僅留小部隊在正麵牽製，大部隊側麵迂回，從廣西北部灣出發，經海路直撲交趾國，從側翼夾擊叛軍，果然打得交趾軍大潰。公元42年春，馬援部在越南浪泊與交趾軍展開決戰，經過浴血奮戰，斬首交趾軍數千人，俘虜上萬人。隨後馬援乘勝追擊，終於在第二年正月俘殺叛亂頭領征側、征貳姐妹，傳首洛陽。交趾大局，至此已經平定。
大勝之後，劉秀冊封馬援為新息侯，並且給予他三千戶食邑。馬援這時候再次表現出卓越的戰略眼光，他認定，此時交趾隻是表麵平靜，禍亂的根源並未解除。在獲得封侯賞賜後，馬援大宴諸將，席間痛哭流涕，對諸將坦言：“今日有此大勝，是大家之功，卻隻有我一個人封侯，真是受之有愧。”一番表白，激起了眾將的再戰之心。隨後馬援派兵緊緊追擊，從浪泊（今越南河北仙山地區）一直打到巨風（今越南清化一帶），俘虜斬殺累計五千多人，征側的叛亂勢力被徹底平定。為了收到長治久安的效果，馬援每到一地都安撫百姓，甚至興修水利，分發糧草，在越南百姓中民望很高。值得一提的是，他還修訂了原先交趾法律中與漢律不同的部分，以一部新律法治理當地，後來越南的法律《越律》，就是在馬援編訂的律法的基礎上完成的。馬援在越南的努力，讓他在當地享有令人崇高的威望，越南人尊奉他為“木頭公”，直到今天，木頭公依然是越南民間非常令人崇敬的神靈。