唐武德四年（621年），魏征回到長安後，唐高祖已經基本上控製了全國的局麵，初步實現了統一。敵對勢力隻有江陵地區的小國肖銑政權和竇建德的故將劉黑闥在河北邊境的遊擊部隊，唐朝已經算是奪取了天下。朝廷中，自建國起至今的4年裏，相繼受到唐高祖信任和重用的，多半是追隨他在太原起兵的故吏和舊友，如裴寂、劉文靜等，也有一批原隋朝的有名文臣，如蕭瑀、竇成等，另外，登上宰相位置的重臣還有封德彝、陳叔達、楊恭仁、宇文士等人。當然，真正掌握大權的，除唐高祖外，就要數太子李建成和秦王李世民了。李建成經常在首都長安，輔佐李淵處理軍國大事。次子秦王李世民卻常領兵出征，不斷平定割據勢力，鎮壓各地農民軍，以擴大唐帝國的占領區，功勞巨大，威望甚高。但李建成是長子，按照宗法製度，他應是皇帝李淵的權力繼承者。秦王李世民既有戰功，野心也大，加之他富有極高的政治才能，所以也想當皇帝，因此他們兄弟間爭奪皇位的鬥爭越來越激烈。在雙方鬥爭中，齊王李元吉是站在太子一邊的。他們雙方為了自己的利益，都積極采取措施壯大自己，鞏固自己，瓦解對方，打擊對方。首先，他們各自都拉攏朝中高級官員，爭取他們的支持。在宰相裏麵，裴寂和封德彝支持太子，而陳叔達和蕭瑀卻支持李世民。在地方上，太子李建成和秦王李世民也都設法培植自己的勢力，李世民在平定王世充和鎮壓農民軍時，積極招納山東豪傑和富有政治經驗的學者文人，如房玄齡、杜如晦、溫彥博、李績、高士廉、虞世南、褚亮、姚思廉、李玄道、蔡允恭、薛元敬、顏相時，蘇勖、於誌寧、蘇世長、薛收、李守素、陸德明、孔穎達、蓋文達、許敬宗等。太子建成在河北作戰時，也極力拉攏羅藝，利用他在河北發展勢力。因此，在中央政府中，太子建成處於有利地位，而在地方勢力和人才儲備上，則李世民要勝過一籌。
秦王李世民於武德四年（621年）平定竇建德，凱旋回京後，政治威望更加提高了。唐高祖為了表彰世民的豐功，特地加授他為“天策上將”，位在王公之上，並且領司徒，兼尚書令。而且在當年十月開府置官屬，收納了秦王府一大批心腹親信。沒過幾天，又在天策上將府開館延士，將上述一大批著名文人學士收歸自己帳下，這就是秦王府文學館的“十八學士”。太子建成見到李世民相繼實行的舉措，分外敏感和不安，他感到了來自秦王府的巨大威脅，在爭奪人才和收買人心上，他已經知道自己處於劣勢。於是，李建成開始格外注意物色和收羅人才。恰在這個時刻，魏征來到了長安，正在無所歸依的情況下，被用人心切的太子建成馬上挖了過去，魏征經過一番可能性和必要性的審慎考慮後，便願意投靠太子。太子非常高興，立即召他為太子洗馬，負責管理太子東宮的經籍圖書和文秘工作。太子洗馬在唐代宮製中，屬於太子東宮官屬，由詹事府管理，詹事府各級官員多以儒臣兼領，雖然在名義上有輔導太子之責，實際上與翰林院的性質沒有什麼太大的區別，專以用來督導文學侍從之臣，因此，詹事府沒有什麼具體職掌，空有府名，並不成為一種真正意義上的機構。詹事府官員有許多種名稱，由高往低依次是：詹事、少詹事、左春坊左庶子、右春坊右庶子、左春坊中允、右春坊中舍人、左春坊讚善大夫、右春坊讚善大夫、司經局洗馬、詹事主簿、詹事府令史。可見洗馬一職在太子東宮官製係統中，地位很低微，大概隻能夠得上從五品，屬中下級官員之列。可是，數度作為俘虜和降臣的魏征，在自己極不得誌的時候，被太子建成召用，哪怕官職不高，仍然是有感激之情的。何況，作為一介寒儒，又是降臣的身份，即使不滿足這低微閑散之職，又能怎麼樣呢？他沒有權力和資格挑三揀四，能有人要他，安排他就算很幸運的了。當然，魏征雖然有淒惶之感，但他並不是沒有政治頭腦和經略抱負之輩，更不是有個棲身之地就渾渾噩噩度日混事的人，他尤其清楚唐朝帝國的政局態勢和上層人物間的權力鬥爭以及種種人事糾葛和矛盾。簡言之，魏征雖然任太子府洗馬之職有被動無奈的意味，但他是以清醒的政治頭腦和充分的思想準備應職上任的，從這一點說，魏征投靠太子李建成仍然是帶有主動選擇的性質。那麼，魏征是如何考慮的呢？
當時的政局態勢是，李淵為大唐皇帝，他有三個嫡出的兒子，即長子李建成、次子李世民、小子李元吉。高祖建唐稱帝之後，即立長子李建成為太子，次子李世民為秦王，小子李元吉為齊王。按照嫡長子繼承皇位的傳統，李建成是當然人選，這好像是沒有什麼爭議的問題。但在太原起兵、統一全國的一係列戰爭中，李世民的功業遠遠超過了哥哥建成，而世民本人又氣度不凡，具有遠大的政治抱負，他不滿足於僅僅做一個諸侯親王，必然要力圖登上權力的頂峰。至於齊王元吉，無論從身份、功勞、能力等哪方麵看，是不可能有資格參與最高權力的爭奪的。因此，李建成和李世民之間勢必會展開一場爭奪皇位繼承權的殊死鬥爭。這場鬥爭是當時唐朝高層政治活動的主旋律，任何人自覺或不自覺地要牽涉和卷入到這場鬥爭中來。
在這場大搏鬥中，以李世民為一方，以李建成、李元吉為另一方，形成了對壘形勢。那麼魏征為什麼要選擇李建成這一方呢？其原因是：
第一，建成早已立為太子，高祖李淵雖然這幾年在建成和世民的選擇上常常處於兩難之間，但他畢竟沒有明確表示過廢掉建成而另立太子的意圖，而嫡長子繼位又屬名正言順，所以一般無特殊政治背景的人，把賭注下在李建成一邊，是非常自然的，而且覺得把握更大一些。
第二，李世民手下雖然有很多驍將精卒，但東宮和齊王府聯合起來，與秦王府較量，再加上李淵傾向於太子，他們在力量上應處於絕對的優勢。
第三，據史料記載，站在建成、元吉一邊的還有其他許多小王的母親，如高祖正寵愛著的張婕妤、尹德妃等。《通鑒》說：“（李淵）晚年多小內寵，小王且二十人，其母竟交結諸長子以自固，建成與元吉曲意事諸妃嬪，諂諛賂遺，無所不至，以求媚於上。”這部分後宮勢力，是絕對不可輕視和忽略的。
第四，魏征是在黎陽出差時落入農民軍首領竇建德手裏的，並且在竇的手下幹了近兩年。而竇建德作為河北地區的最大政治軍事勢力，是唐朝統一天下的過程中最大的對手和障礙。唐朝出關東進的主要敵人就是竇建德，唐政權與竇建德政權之間進行的大決戰———虎牢關戰役，是隋末戰爭中最大的戰役之一，而唐朝進行這個戰役的指揮者正是秦王李世民。換句話說，消滅竇建德、蕩平河北，正是李世民的最大功勳和主要政治資本之一，那麼，作為竇建德的臣下，魏征怎麼也不敢想象他會被李世民所容納。即使李世民再怎麼胸懷寬廣，充其量對魏征不計較而已，絕無信任和重用之可能。而李建成與魏征之間就不存在這種曆史的芥蒂和隔膜，況且李建成與李世民在利害關係上已同水火之勢，那麼李建成就按照“敵人的敵人等於朋友”這一常人所固有的思路，自然而然地把魏征拉了過來，並且“甚禮之”了。
第五，封建正統倫常觀念的作用，使魏征做出擁護太子的選擇。魏征出身於一個傳統的封建士大夫家庭，自幼受儒家學術的培育熏陶，他所認定的天地倫常秩序，無非是應該君君、臣臣、父父、子子、兄兄、弟弟、夫夫、婦婦、師師、徒徒而已。李建成是嫡長子，而且確已被立為太子，他又沒有犯什麼大的過失，皇上沒有廢除之意，那就應該遵守這個既成的決議，並且去維護他。而不能憑誰的功勞大一點，就要譖越逾矩；誰的能力強一些，就可以不服從現存秩序而造反。否則，那就跟隋朝的煬帝楊廣的行徑沒有什麼兩樣了。楊廣當年就是陰謀勾結隋文帝的寵臣越國公楊素，收買太子楊勇的親信姬妾，設計使隋文帝廢黜了太子楊勇，從而奪取了皇太子的地位，然後又乘隋文帝病重，與楊素同謀，派親信殺害了文帝，登上了帝位，爬上了權力的頂峰。這種害兄弑父的形象，不僅僅隻是魏征的道德觀念所根本否定的，恐怕一般平民百姓都會認為是大逆不道的禽獸行徑。所以，隻要不是李世民的特殊圈子中人，誰都會在道義上站在太子李建成這一邊。