馬援年輕時有大誌，自幼與兄長馬況生活。與馬援年紀相仿的朱勃十二歲就能背誦《詩經》和《尚書》，經常拜訪馬況。剛開始讀書的馬援見朱勃言談舉止溫文爾雅，自愧不如。馬況察覺到馬援的心思，對他說：“朱勃早慧，但非遠到之器，聰明才智到這也就差不多盡了。你是大器晚成，將來成就一定在他之上。”朱勃未滿二十歲就被征為代理縣令，而等到馬援拜將封侯的時候，朱勃還隻是一個縣令。
因為家境貧困，馬援辭別兄長，想要去邊郡一帶種田放牧。馬況說：“你是大器晚成的人，能工巧匠不會輕易把還沒雕琢好的玉石出示別人。你暫且按照自己的意願去做自己想做的事吧！”於是馬援來到北地種田放牧，他常對賓客說：“大丈夫在窮困的時候，誌氣應當更加堅定；年老的時候，意氣應當更加雄壯。”經過悉心經營，馬援很快就擁有數千頭牲畜和幾萬斛糧食。馬援感歎說：“財富增長，貴在能夠施舍給有需要的人，否則就成守財奴了。”於是將家產全部分給親友，自己則過著節儉的生活。
王莽新政後，天下大亂。隗囂割據天水，自稱西州上將軍。三輔地區的許多士大夫為了躲避戰亂，都歸附他，隗囂熱忱相待，彼此以朋友之禮相交，所以勢力頗為強大。馬援聽說隗囂禮賢下士，於是前往投奔。隗囂對馬援非常器重，封他為綏德將軍，讓他參與籌劃大事。
公孫述在蜀中稱帝後，隗囂為了決定去向，派馬援去蜀中打探情況。馬援和公孫述是同鄉，自小便十分要好。馬援本以為老朋友見麵，公孫述會像往常一樣與他握手言歡，暢敘別情。沒料到，公孫述擺起皇帝的排場，還要對馬援拜將封侯，但都被馬援婉言拒絕了。後來，馬援又去洛陽麵見劉秀，劉秀的平易大度讓馬援敬佩不已。回到天水後，馬援建議隗囂歸附劉秀，於是隗囂送長子到洛陽做人質，表示歸附之意，馬援也一同來到洛陽。可不久之後，隗囂聽從部將的建議，割據隴西稱帝。馬援聽說後，多次致信規勸，隗囂不但不聽，反而惱怒馬援背叛他。
公元32年，劉秀親自率軍討伐隗囂。許多將領認為勝負難卜，皇帝不宜深入險境。劉秀猶豫不決，於是召來馬援，征詢馬援的意見。馬援說：“隗囂內部已經有分崩離析之勢，如果這時候率軍進攻，必定能大獲全勝。”然後馬援讓人取來一些米，在劉秀麵前用米堆成山穀地形，指點雙方形勢，標示各路部隊進退的道路，曲折深隱畢現。馬援反複為劉秀分析，戰局十分清晰，劉秀高興地說：“敵人的情況都在我的眼裏了！”於是劉秀決意進軍，很快就迫降隗囂十萬餘眾。
公元35年，劉秀任命馬援為隴西郡守。從王莽末年開始，塞外羌族不斷侵擾邊境，官府製止不了。馬援上任後，立即整頓兵馬，率三千步騎出擊羌人，迫使八千多羌人投降。此戰中，馬援身先士卒，小腿被流矢貫穿。劉秀得知後，立即派人前往慰問，賜給他牛羊數千頭。馬援像往常一樣，把這些都分給了部下。兩年之後，羌人再次興兵來犯。馬援率四千人前往征剿，大敗羌人，受降一萬多人。從此，隴右一帶太平無事。
馬援在隴西太守任上一共六年，對待部下寬大仁厚，所以部下都願為其效力。在處理政務方麵，馬援注重分工明確，自己則總攬大局，手下官吏向他彙報公事，他會說：“這是某某官員的分內之事，不用來麻煩我。可憐可憐我這個老頭子，讓我盡情遊玩吧！至於太守的分內之事，是治理那些欺負百姓的豪強或者貪贓枉法的官吏。”