夏商周時期，蘭州地區為羌戎部族活動地區。公元前771年，西戎攻占鎬京殺周幽王，周平王東遷，因秦襄公救周有功，被封為諸侯。此後，秦國雖然逐漸收複了被西戎占據的關中地區，但仍被中原諸侯視為戎狄。至公元前750年，秦文公統一關中，秦人與周遺民開始共處，受周文化影響，逐漸脫離遊牧生活，轉向定居農業，向華夏化發展。到西周滅亡後，秦人在陝西寶雞建立了戎化國家，並逐步融合了被征服的西戎（藏緬族群的氐羌、吐火羅）和周遺民。史載春秋時，秦穆公用由餘之策，西伐諸戎，“並國十二，開地千裏”（《史記·秦本紀》），“秦所開地，隴西、北地是也”（唐張守節《史記正義》），“西戎八國服於秦”（《史記·匈奴列傳》）。“八國中有‘翟、之戎’，翟戎居今臨洮縣一帶，戎居於今隴西縣一帶。包括翟戎、戎在內的‘西戎八國’這時隻是‘服於秦’，還沒有為秦所滅”。（《蘭州市誌·建置區劃誌》）到戰國時，“西戎八國”完全被秦國占領，經過民族文化的交彙融合，至戰國晚期最終形成了融為一體的關隴地區華夏族。秦人不斷向西開拓疆域，秦孝公時，秦國已將其西境推進到黃河以南的洮水流域。至秦昭王時（前306年～前251年），秦已占有隴西、北地、上郡，並修築長城以拒胡人入侵。秦昭襄王二十七年（前278年），秦在隴山以西設置隴西郡，並將郡治設於與今蘭州接壤的狄道（今甘肅臨洮縣），其勢力範圍已接近今蘭州地區。
秦始皇時，秦全力向東用兵，兼並山東六國，無暇顧及西方，所以未向西方羌人居地用兵，因此蘭州黃河以北、以西的羌戎部族能夠較快發展。秦統一六國後，於始皇三十二年（前215年），派蒙恬北擊匈奴，占領“河南地”。次年自蘭州始，沿黃河南岸向東至陰山（在今內蒙古），設縣44個，築城防守，移民實邊。在蘭州設榆中縣，築榆中城。蘭州黃河以南、以東地區歸入秦王朝版圖，屬秦隴西郡。秦首次在今蘭州市城關區東崗鎮一帶設榆中縣，明確了秦在蘭州地區的統治，也初步確定了今蘭州黃河以南邊塞軍事重鎮的地位。此時，今蘭州黃河以南、以東地區全部為秦所有，以北、以西的皋蘭、永登、紅古等地仍由羌戎部族占據。秦占據蘭州黃河以南、以東後，原居住的羌人一部分與遷徙來的秦人共處而逐漸華夏化，一部分退居以北、以西地區，仍然過著遊牧生活。
秦末中原大亂，匈奴乘中原戰亂之機迅速南下，越過長城，對中原王朝形成極大威脅。西漢初，匈奴領袖冒頓單於以其三十餘萬精銳騎兵，重新占領河南地，擊走月氏，占據黃河以南至戰國秦長城間的大片土地，並與蘭州以西河湟地區的羌人聯合，對漢王朝的西北地區形成強大的包圍。當時，西漢王朝剛剛建立，國力十分虛弱。麵對這種內部殘破的局麵和外部強大的軍事威脅，漢王朝難以與匈奴爭鋒，因此隻好采取妥協的政策以休養生息，積極積蓄力量準備適時反擊。於是劉邦與冒頓單於約為兄弟之國，並以“和親”換取邊境安寧。
在西漢建國的前六七十年間，匈奴的勢力逐漸變得更加強大。匈奴對漢朝邊境的侵擾日益加劇。漢高祖六年至漢武帝元光二年（前201年～前133年）間，匈奴騎兵連年南下，虜掠人畜，劫奪財物，踐踏莊稼，漢朝北方廣大地區受到嚴重危脅。而西漢王朝經過高祖、文帝、景帝數十年的休養生息，至武帝時，國力已空前強盛，對匈奴反擊的條件已經成熟。於是漢王朝製定了以武力防禦和抗擊匈奴的方針，開始了對匈奴的戰爭。元朔二年至元狩四年（前127年～前119年），漢武帝任命衛青和霍去病為大將，先後發動了河南、河西和漠北三次大規模的戰役，北擊匈奴，卻敵千裏。
河南戰役之前，匈奴一直將其作戰重點放在西漢的東北邊境地區，以自己的左部兵力，於西漢防禦兵力薄弱的地帶行動，以便達到有限的作戰目的。武帝元朔二年（前127年）春，匈奴大舉入襲西漢東北的上穀、漁陽兩郡，殺掠人畜。武帝抓住戰機，立即命衛青和李息率軍出雲中（今內蒙古托克托地區），沿黃河北岸西進，避實擊虛，對河套及其以南地區的匈奴軍進行遠距離的迂回包圍。斬殺和捕獲匈奴軍5500多人，牛羊百萬餘頭，全部收複了河南地區，白羊王、樓煩王僅率少數衛騎逃走。衛青大獲全勝後，率軍從隴右地區勝利回師。這一年，西漢重新設置了榆中縣，屬隴西郡。