貞觀元年（627年）夏秋之際，魏征被任命為尚書右丞，仍兼諫議大夫。尚書省是掌國務大權的最重要部門，但魏征任這一職務仍不能說明他就已經得到重用。當時，尚書省的左仆射是蕭瑀，右仆射是長孫無忌，均為魏征的頂頭上司，地位比他顯赫得多。其他兩省的長官，門下省的侍中為高士廉，中書省的中書令為房玄齡，都是事實上的宰相，而且論級別也要比魏征高一品。唐代尚書左右丞中，左丞為四品上等，右丞為四品下等，左丞比右丞地位要高，當時戴胄為左丞，魏征以右丞而居其下，可見其地位還趕不上戴胄。戴胄過去的經曆比魏征要體麵得多，他曾在隋朝末年的朝廷中小有名聲，當時的重臣蘇威、裴矩都對他很客氣，很看重，當過越王楊侗的給事郎，以抗言敢諫而聞名。後成為王世充的鄭州長史，在武牢關大戰中被李世民俘獲，這一點與魏征倒是有點相似，隻不過有個重要區別處：魏征自虎牢關兵敗降唐後，投奔的是太子李建成；而戴胄降唐後直接被李世民納入秦王府集團之中，被委任為秦王府士曹參軍。玄武門之變後，被提升為兵部郎中，封為男爵，旋及又被提拔為大理寺少卿，一躍而成為中央司法審判機關的主要領導人之一。貞觀元年（627年），戴胄以敢諫忠直的風格而使唐太宗稱賞不已，所以把他調到尚書丞的崗位上來，協助宰相們執法斷事，參議得失。
次年，杜如晦以兵部尚書檢校侍中，並兼管吏部，不久又當上尚書右仆射。上述幾個人中，長孫無忌是唐太宗的妻兄，高士廉是長孫無忌的舅父，房玄齡和杜如晦則均屬於原秦王府的心腹之臣。貞觀時期，尤其是初期，房、杜二人共掌朝政，當時的政治體製、官製和典章製度都由他倆製定，在當時享有極高的聲望，被人們稱為“房杜時代”，就政治格局而言，可以說當時實行的是“房杜體製”。而魏征在上層政治圈內，麵對著皇親國戚和李世民的秦王府舊部，麵對所謂的“房杜體製”，他隻有自愧不如，徒生豔羨而已，在政治角力較量中是沒有多大能量的。大致上，他除了在朝廷上發發議論，講講君道王製以動聖上的視聽之外，就隻有在尚書省裏秉承上級的指示，辦理一些兵、刑、工三部的例行公事而已，不可能再有什麼作為。王珪和魏征一樣，也屬於原來的太子建成手下的東宮官，但到了貞觀年間，蒙受的提拔晉用也跟魏征有所區別，並不同步。貞觀元年（627年），李世民即位之初，王珪就以黃門侍郎的清貴要職參與朝政，進入到中央上層圈子中了，第二年，就提拔為門下侍中，成為門下省的首長，躋身入宰相的行列。而魏征直到貞觀三年（629年）才開始參與朝政，但職務隻是一個秘書監，遲至貞觀七年（633年），才爬上門下侍中的位置，總算過了把正式宰相的癮。這些事實說明了唐太宗對待王、魏二人並不一樣，而是有所區別的，即對王珪的重用超過了魏征，這可能與王珪的出身要比魏征高貴、自己過去的官職也要比魏征高一些有關。
魏征在貞觀年間經曆了長達7年之久的考驗，才進入上層最高權力集團，這對任何人來說，都是難熬的。唯一對這種漫長考驗的感受有過之而無不及的人，在貞觀年間就隻有褚遂良了。褚遂良也是唐代名相，但他也是個大器晚成的貞觀大臣，一個在隋末就擔任過秦州都督府鎧曹參軍的文武雙全之才，而且有當秦王府學士的父親褚亮這層特殊的背景，卻遲遲等到貞觀十八年（644年）才當上黃門侍郎，開始“參縱朝政”，貞觀二十二年（648年），老態龍鍾的他，才當上中書令，嚐到了做宰相的滋味。魏征要是九泉有知，相比之下，也許會有點欣慰：比上不足，比下有餘，自己還算是幸運之人。
再從魏征初進宰相班子時，整個宰相班子的陣容情況來看，他的處境也很不利。當時房玄齡任尚書左仆射（第一宰相）已達4年之久，而且地位十分穩固，威望正如日中天；尚書右仆射是李靖，他在李淵攻克長安之初險些被斬首，全靠李世民再三求情免死，才保全了性命，所以被李世民召入秦王幕府後，誠心竭力，成為李世民打天下南征北戰時最得力的軍事指揮家，他與李世民這種深厚的恩情舊誼的緣分，使他能夠毫不費力地在貞觀二年（628年）就以刑部尚書的本官兼任中書令，迅速進入最高權力圈。得以參與朝政的還有右衛大將軍、兵部尚書侯君集，檢校吏部尚書戴胄，前者在李世民當秦王時，就早已被引入幕府，數次南征北戰，漸蒙恩遇，玄武門之變，他是策劃者和核心參與者之一，所以貞觀四年（630年）就能進入宰相班子；後者前文已經作過交代，先後擔任過兵部郎中、大理少卿、尚書左丞、吏部尚書等要職，一步一個台階，貞觀四年（630年）時也踏進了宰相的廳堂。以上幾人在貞觀以前都同李世民有特殊關係，都有特殊背景和雄厚政治資曆，而且沒有什麼政治嫌疑，皇帝對他們的信任和重用都超過了魏征。
在“房杜體製”時期，房玄齡一直任左仆射，杜如晦則擔任右仆射，杜如晦貞觀四年（630年）去世後，由李靖接替這一職務達5年之久。後來溫彥博繼任2年，接任者為高士廉，直到魏征去世那年（643年），仍然是房玄齡當左仆射，高士廉當右仆射，而魏征一生都始終沒能當過仆射之職。“房杜體製”即使是在杜如晦英年早逝的情況下，也沒有變成“房魏體製”，就充分證明了一個事實：魏征在貞觀年間的實權一直不能與房玄齡、李靖、高士廉等人相比，更無法與長孫無忌等人相提並論了。大致從貞觀七年（633年）他任侍中後，在政事堂會議上的發言權才稍有改善。
再從貞觀七年（633年）魏征拜侍中時，諸位宰相的年齡上考察一下當時的情景。這一年魏征54歲，唐太宗37歲，房玄齡55歲，蕭瑀60歲，李靖63歲，高士廉58歲，長孫無忌的年齡無法考證，可棄而不論。從上述可知的幾位宰相的年齡上看，魏征比唐太宗大17歲，太宗把他作師傅看待也是合情合理的，但與其他人相比，除房玄齡的年紀與魏征不相上下之外，其他都長於魏征，少則5歲，多則9歲，所以他在政事堂議政時，不免顯得年輕資淺，也比不上皇親國戚、秦王舊屬。因此，魏征發揮的作用，多見於同唐太宗的問對、議論中，而他在政事堂、門下省的作為卻很少被史籍所記載，這恐怕不是出於史臣的疏忽，而是有其具體原因的。魏征任侍中之初，本來對他是一件莫大的喜事，但他卻以視力不佳為由，數次打報告要求辭去這來之不易的宰相之位，而且還當麵向唐太宗提出辭職的申請。這到底是怎麼回事呢？是魏征由衷地不想當侍中嗎？是他的眼睛果真有疾病，健康方麵的欠佳導致他工作受到影響了嗎？為什麼要一再地辭卻侍中的官職呢？《舊唐書·魏征傳》中有幾句話道破了個中奧秘：“征自以無功於國，徒以辯說，遂參帷幄，深懼滿盈，後以目疾頻表遜位。”即自己感到在唐朝立國、平定天下時沒有什麼戰功，在玄武門之變的新舊轉換之際也沒有任何功績可言，光靠幾條建議，說一些話就進入最高權力層，他的心是不踏實的，底氣也不足，勉強進入由開國元勳、秦府舊屬和士族達官、皇親國戚組成的這個公卿集團，是注定要被排外的。所以魏征深深感受到他不配坐在這一位子上，這把宰相椅子絕對不是那麼好坐的，坐了，就要準備迎接挑戰，準備應付各種壓力，準備為此付出代價。魏征沒有信心，於是，他害怕了，恐懼了，一種無法排除的孤獨和自卑，令他退卻和逃遁。使魏征變成如此表現，唐太宗是應該負主要責任的。君臣之間合作了7年之久，依然讓魏征時時痛感身是客，無法與皇上及一班同僚達到水乳交融的境界，並非單純因魏征過於敏感，疑神疑鬼，而是真真切切地存在著他與唐太宗及秦府舊屬們之間的無法克服的心理隔閡和身份障礙。盡管唐太宗從理性上認識到君臣之間應以誠信相處，號召大家不計前嫌，精誠團結；魏征在口頭上也經常強調君臣之間不應存形跡和芥蒂，而事實上雙方並不可能完全做得到，雙方疑忌之事是根除不掉的，魏征的身份和昔日的經曆，在唐太宗心頭，總是一團永遠抹不去的陰影。在玄武門之變中奪得皇位的唐太宗，清醒地知道，他在政變中能夠製勝的重要原因就是秦王府的文武心腹們能精誠團結，所以，對魏征並不能完全信任和重用，是符合情理的。
唐太宗與魏征之間一直存在的這種戒懼之心，有時便很自然而然地暴露出來，甚至還出現過相當緊張的情況，例如太宗曾向皇後吐露過想殺掉魏征的念頭，幸虧經皇後巧為勸解，才使魏征化險為夷。還有一件君臣關係險些徹底惡化的事情，卻鮮為人知，不妨在此簡略介紹一下。據《魏鄭公諫錄》卷五《太宗移舊閣》篇中記載：唐太宗正在移建一座舊閣，魏征認為欠妥，太宗卻以為這是在“謗我作望陵台”，魏征其實是覺得此項工程，用十車銅，不免奢侈浪費一些。唐太宗卻在盛怒之下，對魏征產生了敵對思想。他的這種看法不僅沒有在事後消除，甚至跟另外的大臣杜正倫談及，性質顯得很不簡單了。他說：“魏征與我的關係，並不是原來秦王府舊部下的那種老關係，是我從罪犯中把他赦免出來，給他出路，送他富貴前程的。我隻不過看在他能夠諍諫，所以對他如此之好，可他卻不知天高地厚，自以為是個什麼東西，照他那想法，好像國家不重用他，這國家就不好；我不聽他的，我就不講道理！自古以來的賢君明王，沒有魏征，也照樣創造出太平之世，我今天難道少了他魏征，天下就沒有了？”看來，隻要遇到不愉快的時候，唐太宗就要揭魏征的老底，撕他的傷疤，把魏征在曆史上做過降虜，當過東宮黨人的經曆不時掛在嘴上。上述這件因移建一座舊閣而引起的齟齬，發生在約貞觀十七年（643年）間，經過那麼長時間的相處，唐太宗還沒能根本扭轉對魏征的猜疑態度，可見玄武門之變時的陣營關係仍然像永不消逝的魔障，存留在唐太宗的記憶之中。成見，是一種多麼可怕的東西！魏征終其一生始終沒能掌握國家政務大權，恐怕就是由於君臣間的這種特殊關係所致。