天寶十四年(755年)，安祿山反，高仙芝受誣被誅，玄宗命哥舒翰將兵20萬代高仙芝守潼關（今陝西潼關東北）。時哥舒翰已患風疾，不能治事；所委部將互相爭長，號令不一，軍無鬥誌。他隻好扼守潼關。宰相楊國忠懷疑他要回兵殺害自己，力勸玄宗促令他出戰。
天寶十五年(756)六月，哥舒翰被迫出關，戰於靈寶（今屬河南），遭敵伏擊火攻，全軍覆沒。哥舒翰被部下執送安祿山，求致書招降唐將領以免死。唐將領複書拒降並譴責他不能死節。後為安祿山子安慶緒所殺。
哥舒翰任西安節度使，派遣都兵馬使張擢到京師長安奏事，張擢完成任務後，在京師逗留了很久沒有回去，他進獻財物給楊國忠，與楊國忠結交。哥舒翰正巧也來京師，要入宮朝見天子，張擢怕哥舒翰問罪，心裏惴惴不安，請示楊國忠任命他為禦史大夫，兼劍南西川節度使。任命的詔書下達後，張擢來到哥舒翰家拜見哥舒翰，哥舒翰命令部下把他揪到庭中，列舉了他的罪狀，用杖刑打死了他，然後向皇帝報告，讓皇帝曉知此事。唐玄宗知道此事後，便下詔書褒獎哥舒翰堅持原則，把張擢的屍體賜給他，再讓哥舒翰鞭打張擢屍體一百下。
唐哥舒翰平吐蕃
天寶六年（747年）十一月，唐玄宗在華清宮召見哥舒翰。二人談得非常投機，玄宗決定用哥舒翰取代王忠嗣。於是任哥舒翰為鴻臚卿（專管少數民族事務的官職），兼西平（治西都，今青海樂都）太守，攝禦史中丞，隴右節度支度營田副大使，充隴右節度使。
不久，審訊王忠嗣的官員為迎合上意，判王忠嗣死刑。哥舒翰聽到消息後非常吃驚，請求用自己的官爵來贖王忠嗣的罪。玄宗根本不聽，站起來打算走入內宮。哥舒翰在後麵叩頭相隨，“言詞慷慨，聲淚俱下”地為王忠嗣申冤。玄宗看到哥舒翰赤誠之心出自肺腑，頗為感動，於是免除了王忠嗣的死罪，將王忠嗣貶為漢陽（今湖北漢陽）太守。一年後，王忠嗣在任上憂鬱而終。經過這件事，朝廷上下都對哥舒翰稱讚不已，誇讚他是個忠義之人。哥舒翰不但救了王忠嗣的性命，還贏得了極好的口碑，他也從此成了權勢極大的封疆大吏。
天寶七年（748），哥舒翰采用“步步為營”的軍鎮策略，在青海湖建神威城。因為城就修在吐蕃軍前，使吐蕃軍倍感壓力，因此傾全力進攻。不久，神威城被吐蕃人攻破並毀之一旦。哥舒翰重新奪取神威城後，又在青海湖的龍駒島上修築應龍城，與神威城遙相呼應。隨後，哥舒翰一改唐軍的消極防禦為主動進攻，一舉攻克戰略要地石堡城。然後以石堡城為前沿陣地，繼續將戰場推向吐蕃腹地，終於收複了失陷多年的黃河九曲之地。而吐蕃在與哥舒翰的交戰中，開始時尚能發動反擊，到後來隻能是疲於招架，毫無還手之力，最後隻能是“至今窺牧馬，不敢過臨洮”了。吐蕃當時是大唐最難對付的鄰國。最終在哥舒翰手中，唐朝在對吐蕃的戰爭中取得了全麵勝利。
哥舒翰治軍嚴厲，“三軍無不震懾”。在攻打石堡城時，負責攻城的先鋒官副將高秀岩、張守瑜因沒完成任務，險些被哥舒翰斬首，後來二人在寬限日期內攻占了石堡城，方保住性命。哥舒翰之所以能取得巨大的成就，與其嚴格治軍是分不開的。
哥舒翰的馳騁英姿及輝煌戰績，大詩人李白、杜甫、高適、元稹都有吟誦。李白有《述德兼陳情上哥舒大夫》：
“天為國家孕英才，森森矛戟擁靈台。浩蕩深謀噴江海，縱橫逸氣走風雷。丈夫立身有如此，一呼三軍皆披靡。衛青謾作大將軍，白起真成一豎子。”
天寶十二年（753），玄宗皇帝封哥舒翰為涼國公，食實封二百戶，並正式任命為河西節度使。不久又晉封為西平郡王。此時正值楊國忠和安祿山爭寵，楊國忠得知哥舒翰與安祿山不和後，就想方設法擴大哥舒翰的職權，以與安祿山抗衡。天寶十三年（754），由楊國忠大力舉薦，玄宗拜哥舒翰為太子太保兼禦使大夫。楊國忠與勁敵哥舒翰的聯盟，確實讓安祿山感到了莫大的壓力，直接促使他加快了造反的步伐。
天寶十四年（755），吐蕃王病死。吐蕃派出使節，要求與唐朝建立友好關係。唐朝也派出使節去吐蕃，吊唁故王，冊封新王。