玄宗同意了。自是高仙芝、哥舒翰皆專任大將，李林甫認為其不識文字，無入相由，然而祿山竟為亂階，由專得大將之任故也。
皇甫惟明在與吐蕃軍作戰中連戰連捷，進京獻俘，玄宗親自接見了他。
玄宗說：“皇甫將軍，你屢戰屢勝，滅吐蕃氣焰，壯我大唐國威，朕要嘉獎你。”
皇甫惟明說：“謝陛下。保衛邊疆，這都是末將應盡之責。臣有本要奏。”
玄宗：“將軍請講。“
皇甫惟明說：“末將這些天在京城，聽許多大臣議論，說宰相李林甫專權。刑部尚書韋堅有宰相之才，可以啟用。”
玄宗說：“此事重大，容朕考慮，改日再議。”
這些話沒有逃過李林甫的耳目，李林甫非常憤怒。
皇甫惟明早年曾與忠王李亨為友。
開元十八年（730年）九月，吐蕃因屢敗於唐軍，便遣使請和。皇甫惟明知道後，便麵陳和親之利。
玄宗卻認為：“吐蕃讚普往年嚐與朕書，悖慢無禮，朕意欲討之，何得和也！”
皇甫惟明解釋道：“開元之初，讚普幼稚，豈能如此？必是邊軍將務邀一時之功，偽作此書，激怒陛下。兩國既鬥，興師動眾，因利乘便，公行隱盜，偽作功狀，以希勳爵，所損钜萬，何益國家！今河西、隴右，百姓疲竭，事皆由此。若陛下遣使往視金城公主，因與讚普麵約通和，令其稽顙稱臣，永息邊境，此永代安人之道也。”（《舊唐書·吐蕃傳》）
玄宗覺得言之有理，便令皇甫惟明和內侍張元方出使吐蕃。二人至吐蕃，對讚普和金城公主說明來意。讚普非常高興，欣然請和，唐蕃兩國遂修舊好。
不久，皇甫惟明因功任左衛郎將（《唐會要·卷五十九》）；開元二十年三月（735年），皇甫惟明，攝侍禦史，充長春宮使（《唐會要·卷五十九》）；後又任司農少卿（《冊府元龜·卷一百五十八》）；開元二十五年（740年）七月，任檢校司農卿（《冊府元龜·卷一百五十八》）；開元末年，皇甫惟明出任隴右（今青海西寧樂都及甘肅臨潭等）節度使。
天寶元年十一月（742年），吐蕃大軍進犯隴右地區，皇甫惟明立即率軍迎擊，在青海大獲全勝。十二月二十七日，吐蕃大將莽布支再率3萬餘人馬，與皇甫惟明部交戰。唐軍先鋒騎將王難得率先出陣，與吐蕃讚普之子琅支都交鋒。琅支都被其槍挑於馬下。吐蕃軍陣腳大亂。皇甫惟明趁機指揮唐軍乘勢掩殺，斬獲5000餘人（一說3萬人）。