“丞相所言甚是，此事容後再議吧。”
又一日，玄宗、張九齡和李林甫在內堂議事。玄宗想重用當時的朔節度使牛仙客，所以他說道：“朕意欲任命牛仙客為尚書，兩位愛卿意下如何？”
“臣以為牛仙客出身寒微，其資曆尚不足以任此高職。”張九齡正色道。
“愛卿既然認為牛仙客並非高門之後，那麼愛卿自己何嚐不是曾經出身寒微？”玄宗不悅道
“微臣出身於窮鄉僻壤，不如牛仙客出身地大物博的中原地區。但微臣隨出身窮山惡水，可是臣有皇上教導，出入於台閣，但牛仙客常年駐守在窮鄉僻壤，如果一定要破格錄用他，恐怕難以服眾！”張九齡的話擲地有聲，玄宗也不得不考慮他的話。
這時，善於察言觀色的高力士馬上站出來緩解僵局了。
“皇上，時辰不早了，午飯的時候到了，不如先用膳吧？皇上您的身體重要啊！”說罷，向李林甫使了個眼色。
“臣等告退！”李林甫趕緊拉著張九齡走了出去。
用過午膳，李林甫又回到宮中陪伴皇上。他看準時機，對皇上進言：
“臣以為，牛仙客可堪大任。皇上用人，隻要這人是人才即可，何必在意出身呢？皇上一言九鼎，何必受製於區區臣子？”
翌日早朝，玄宗先頒布了任命牛仙客的政令。然後解除了張九齡的中書令一職，遷九齡為尚書右丞相，罷免了他知政事的職位。這是一次皇權與相權的鬥爭。玄宗選擇這麼做不是不知道李林甫的用意，可是他更不能允許張九齡做大，威脅到皇權，換言之，他需要削弱張九齡的權力，扶持李林甫，從而使二人的權力達到平衡，二人都不可以做大，這樣才有助於穩固自己的皇權。
身處於權力漩渦中心的王維，此時已經感知到張九齡深處困境了，可是他沒有辦法做什麼事情。一則自己官職微小，二則玄宗既然忌憚張九齡勢力過大，若自己在這時諫言，不但幫不了張九齡，反而會加劇形勢的緊張，還有可能連累自己。無法抒發自己心中鬱結的王維，隻有用詩歌來表達自己的擔憂：
與盧員外象過崔處士興宗林亭
綠樹重陰蓋四鄰，青苔日厚自無塵。
科頭箕踞長鬆下，白眼看他世上人。
詩中的崔興宗是王維的內弟，當時隱居未仕。詩中讚美了崔興宗不合流俗的清逸品格。是讚美崔興宗的為人，更是自喻，也是以此來勸慰在政治上舉步維艱的張九齡。
不久之後，張九齡舉薦的監察禦史周子諒彈劾牛仙客，唐玄宗因此動怒，不但嚴懲了周子諒，周被杖斃，還因為這一項罪名連坐張九齡，認為他舉薦非人，貶張九齡為荊州長史。年末，李林甫取代張九齡的職位，任中書令，成為烜赫一時的宰相。李林甫左右專營，黨同伐異，又籠絡寵用藩鎮將軍。這時候的盛唐已經是金玉其外敗絮其中，朝廷之上李林甫高力士等奸佞之臣當道，朝廷之外，藩鎮割據現象逐漸形成。安史之亂的隱憂已經形成。確切地說，唐朝由盛轉衰是從這時候開始的。
得到張九齡被貶消息的王維，心中著實鬱悶。一方麵自己敬重的宰相不得誌，奸臣當道，李林甫的統治下，王維知道自己必定沒有機會。另一方麵，王維想到幾年前躊躇滿誌的宰相，如今落敗被貶，心中不免難過。開元二十五年（737），王維寫下了下麵這首詩，以勸慰張九齡：
寄荊州張丞相
所思竟何在，悵望深荊門。
舉世無相識，終身思舊恩。
方將與農圃，藝植老丘園。
目盡南飛雁，何由寄一言。
張九齡是一位賢相，又對王維有知遇之恩，他的被貶，對於王維來說，依偎著他理想中的開明政治夢想的終結。這首詩寄托了王維對張九齡深切的懷念，和對張九齡的知遇之恩的感謝。同時，王維也認清了現實狀況，抒發了世上無知音的傷感，表達了自己將要歸老丘園的情節。最後寫鴻雁盡皆南飛，表現了自己難言的隱痛，其意在言外。
王維已經做好了再次被貶的準備。因為對待李林甫及其黨羽，王維實在沒有辦法違背自己的初衷與之斡旋。王維曾經在自己的詩中這樣寫道：
酬郭給事
洞門高閣靄餘暉，桃李陰陰柳絮飛。
禁裏疏鍾官舍晚，省中啼鳥吏人稀。
晨搖玉佩趨金殿，夕奉天書拜瑣闈。
強欲從君無那老，將因臥病解朝衣。
郭給事本命郭慎微，為人卑微猥瑣，是李林甫寵用的人，常常為李林甫代筆。他的年齡比王維小，可是官職卻比王維大很多。這首詩首聯寫暮春禁宮晚景，頷聯寫給事入晚在省中值班；頸聯稱頌郭奉職勤勉；最後寫自己將要以老病歸隱田園，表明不會與他一樣謀求晉升。這首詩表麵是一首酬和之作，可處處表現出諷刺的意思，以及道不同不相為謀的意思。可見王維對李林甫等人的態度。
可是事情常常與預想的不同，李林甫不但沒有剪除張九齡的黨羽王維，反而重用他。張九齡被貶後，王維奉命出塞。開元二十五年春，河西節度使崔希逸襲破吐蕃。初秋時候，王維以監察禦史的身份前往遍地，並任節度判官。節度判官的職責是監察節度使，即監視崔希逸。
從長安出發，王維的車馬隊伍並不龐大，隻是單車單騎。他並不需要擔心自己的安危，因為將要路過的地方都是唐朝的屬國。走了半月有餘，已經過兒居延國。初秋之景，這漫天飛舞的飛蓬也是來自千裏之外的吧？成群的大雁正翱翔在塞外的天邊，天高地闊，看到此情此景，王維的心境也開闊了不少。眼前是寥廓的大漠，漫天黃沙中許是有一塊小小的綠洲，裏麵住著勤勞淳樸的百姓。浩渺的沙漠中升起了炊煙，一定是綠洲中的人家；渾圓的落日緩緩地落在了黃河的盡頭，眼前金黃一片，人置身其中，仿佛也沐浴了陽光的色彩。不入邊塞，人不知自己的渺小，不能體會到天地的廣大。著名的《使至塞上》就寫在這樣的美景之中：
單車欲問邊，屬國過居延。
征蓬出漢塞，歸雁入胡天。
大漠孤煙直，長河落日圓。
蕭關逢候騎，都護在燕然。
王維正欣賞著這大漠美景，蕭關已在眼前了，他遇到了偵查的士兵，問了才知道，大都護已經在燕然關等候了。他加緊了步伐，趕快前往。
從小一直生活在中原的王維，有了機會領略塞外的風光。這次單車出塞，意氣煞爽。王維也一改以往唯有追求寧靜冥思的習慣，心情不免有些豪情壯闊噴薄而出。
這些壯麗的風光，讓王維暫時忘記了政治與仕途，隻一心醉心於這遼遠的大漠情懷。如果說塞外的景致是一副壯麗的畫，那麼王維的詩歌就是表現這畫的有力的筆。經王維筆下描繪過的塞外風光，美麗，寥廓，寧靜，安詳。
這一時期，王維也寫了很多邊塞詩，其詩歌的風格一改以往深夜獨坐冥思的主題，以闊大的筆端抒寫了一個已近不惑之年之人的胸懷。他的詩歌圖畫不再清冷安靜，而是變得很有氣概。“渾顥流轉，一氣噴薄”，其氣有如江海之浮天。《出塞作》便是除了《使至塞上》之外較為有名氣的一首：
居延城外獵天驕，白草連天野火燒。
暮雲空磧時驅馬，秋日平原好射雕。
護羌校尉朝乘障，破虜將軍夜渡遼。
玉靶角弓珠勒馬，漢家將賜霍嫖姚。
從這時起，王維開始了他的蹉跎歲月和輾轉仕途。他經曆得越多，他的閱曆越發豐富，這在他以後的詩才和生活中，埋下了濃墨重彩的一筆。
3. 青靄入看無
日暮沙漠陲，戰聲煙塵裏。
——王維·李陵詠
一路向西，斜陽殘照。王維一行人已經走了一月有餘了。
“茗兒，你去問問前麵是哪裏？”王維對下人說道。
“回大人，前麵到大散關了。”
王維掀開馬車上的窗簾，看了一會，然後略帶興奮地說道：“快些入關，今晚歇在那裏。”
這就是大散關！王維心中滿是歡喜，他沒想到自己有生之年能夠親眼目睹這樣的古跡。有關大散關的典故一個一個湧上心頭，大散關是關中通向西南的唯一要塞，有很重要的戰略地位，是關中四大門戶（東有函穀關、南有武關、西有大散關、北有蕭關）之一。據史料記載，這裏曾經發生過七十多次戰役。楚漢相爭時候的“明修棧道，暗度陳倉”就曾經經過這裏，三國時期曹操西征張魯也途經此地。這裏不但是兵家必爭之地，從古到今，這裏更是文人墨客、達官貴人甚至於普通百姓的遊覽之處。
王維想起自己小時候曾經看過的一場狩獵，聲勢浩大而洶湧。那時的自己很是羨慕縱馬馳騁的英雄氣概，塞北自古出英才，自己置身於這種環境中，竟然也有了策馬揚鞭的激情！晚上，王維在客棧中看接下來的地圖。涼州在南，接下來要繼續往南走，到達黃花川後再補充一些糧食和水。
塞北的景色雖然壯闊，可畢竟是人煙稀少之地，路途遙遠崎嶇，走起來很是費力。可也正因為這裏文明程度較低，王維足足領略了大自然的鬼斧神工。翌日清晨，因為要走山路，所以王維一行人棄車換馬，繼續出發。
登上山路後才發現這裏道路之難，難於上青天。盤山路幾乎成之字形，陡轉千回，小路很窄，隻能容下兩個人並排走，山下麵是不見底的深淵，如果人掉下去一定沒有生還的機會，人們走幾裏就要好好休息一下。他們走了近一日，才戰戰兢兢地通過了這段山路。
“總算是過去了，剛才嚇死了！”仆人們正義論著剛剛的驚心動魄，王維卻看見一行人朝這麵走過來，原來他們是特意來這裏遊玩的。
“幾位小哥，請問這去黃花嶺是不是這條路？”王維問道
“嗯對，沿著這個方向一直往前走，你們就能看見了。”
王維向前方看看，鬱鬱蔥蔥的大樹看不清路的盡頭，好似旅客時隱時現出現在樹林中。林中有潺潺的流水聲，清涼激蕩。走了半日，王維一行人已經是又累又渴。王維說道：
“前麵林中有溪水，到水源處再生火做飯。我們快些前進吧，爭取日落之前走出這片樹林。”窸窸窣窣的衣袂聲響起，他們快步向林中走去。林中幽靜清涼，趕路一上午的人們頓時都放鬆下來，有人撿鬆枝生火，有人準備飯食，大家都忙活起來，可是都輕聲低言，仿佛怕叨擾了這林中的清幽。
午飯完畢，他們繼續往前走出了樹林，黃花嶺已經到了！王維抬眼看見了陽光燦爛地照在山脊上，青山隱藏在悠悠的霧靄中，若有若無，天上的白雲與此相照應。眼下竟是青青的原野，明麗潔淨好像藍天一樣，那原野上的綠樹像是在天上遊動。剛剛王維飽嚐密樹茂林的幽深安靜，此刻豁然開朗，心中的愁悶在自然的鬼斧神工下都顯得渺小狹窄，王維閉上眼睛，盡情地享受自然帶給他的片刻寧靜開朗。
又走了半月有餘，王維終於到了目的地——涼州。崔希逸早就在城門前等候，王維看見後立刻下馬：
“崔大人久候了！”雖然王維來涼州行駛的是監察之職，可是崔希逸忠勇雙全，向來受到王維的敬重，且二人的官職也不分上下，而王維本身並沒有什麼官架子，所以出現了上麵這一幕。
“王大人一路奔波，快些進城休息。在下備了些酒菜給大人接風。”
二人攜手進城，崔希逸對王維說：
“大人來得正好，明日軍中有賽神活動，大人與我同去？”
“那我就恭敬不如從命了。”王維回答道。賽神活動其實是軍中的一種娛樂，同時也是一種慶祝勝利和鼓舞士氣的舉動，是軍中生活的一個側麵，王維也可以通過這項活動看一下軍中的士氣如何。
翌日觀賽之後，王維一時有感而發，寫了下麵這首詩：
涼州賽神
涼州城外少行人，百尺峰頭望虜塵。
健兒擊鼓吹羌笛，共賽城東越騎神。
這日，王維在帳中休息，突然聽聞軍鼓打響。
“報！匈奴兵突然進犯，請大人移帳進城！”
“我知道了，你且退下吧。”
原來是匈奴兵突然入侵，酒泉告急。崔希逸正打算發兵酒泉，外麵的部隊在集結。軍情當前，王維迅速撤出，與崔希逸探討軍情。
“匈奴此次來勢洶湧，看來是上次偷襲不成，他們糧草不足，需要快速結束戰鬥。”
“那我們隻需要關閉城門，待他們彈盡糧絕，必定會自行退去。”
“不可，這樣就無法顯示我大唐軍威，何況小小匈奴夷狄的進攻，還難不倒我崔希逸！”
“好！下官在此等候將軍凱旋！”
戰鼓雷鳴，崔希逸帶領部隊出戰，戰報頻傳，王維知道，崔希逸已經得勝，在歸來的路上。心情大振的王維詩情大發，著名的“關山正飛雪，烽戍斷無煙”就寫在這個時候，這首《隴西行》被譽為“信不減太白”。
王維雖然當時是節度判官，與崔希逸本是在職權上相互製約，並且應該定時向朝廷報告崔希逸的情況。可能是到了漠北，王維的心中也有了英雄的豪邁，對於政治上的專營倒是少了不少，也不在乎禮儀製度，與崔希逸相處得很是默契。王維在此小住半年有餘，完全融入到軍旅生活中去，很是適意。半年後，王維返回長安。
回朝的王維再次陷入糾結之中。此時李林甫的權勢已經遍傾朝野，他排斥異己，籠絡朝臣，國事不斷下滑。而玄宗內有高力士和慧妃的哄騙，外有李林甫的欺瞞，已經對朝政不甚留心。這時，遠在千裏之外的邊疆地區，又一個遺臭萬年的人開始出現在曆史的畫卷上。他是安祿山，“安史之亂”的始作俑者。三十多歲的安祿山棄商從軍，不到四年就做到了平盧將軍。李林甫看到了這位軍中的新起之秀，由於安祿山曾經是個沒什麼原則的商人，隻重利益，所以他很快就被李林甫籠絡到自己的勢力範圍中，那場即將爆發的戰亂在此時就埋下了禍根。
官場形勢緊張，王維每日裏疲於應付這些險惡的奸佞小人，而家中田園生活輕鬆閑適，這時他又有了歸隱的念頭。有詩為證：
渭川田家
斜陽照墟落，窮巷牛羊歸。
野老念牧童，倚杖候荊扉。
雉雊麥苗秀，蠶眠桑葉稀。
田夫荷鋤至，相見語依依。
即此羨閑逸，悵然吟式微。
詩歌的核心即是一個“歸”字。夕陽西下，牛羊歸家，此為一歸；野老在門口等著牧童，牧童歸家，此為二歸；蠶都睡去，此為三歸；在地裏幹活的田夫回家，此為四歸；最後既是化用《詩經》中的句子，也是以東晉時期的隱士陶淵明自喻，悵然吟式微，此為五歸。