投奔瓦崗寨
魏征（580——643）字玄成，生於北周靜帝大象二年（580），魏州曲城（今屬山東）人。父親魏長賢精通文史，博學多才，曾做過北齊著作郎，後因直諫朝政，貶為上黨屯縣令。父親正直倔強的品質，對青少年時代的魏征產生了很好的影響。然而由於父親去世較早，家業也因此衰落。窮困的生活，並沒有磨滅魏征的意誌，他性格堅強，胸懷大誌，喜好讀書，多所涉覽，尤注意於曆代興衰得失之道，這為以後他的從政、治史打下了厚實的基礎。魏征的青年時代是在隋末的動亂年代度過的。為了躲避戰亂，他出家當了道士。
當時，在河南一帶翟（zhái）讓、李密領導的瓦崗軍，攻占了洛陽東北的最大糧倉興洛倉，起義軍開倉放糧，濟貧救苦，深得百姓擁護，隊伍迅速擴大，聲威日盛。隋大業十二年（616）隋武陽郡丞元寶藏起兵響應李密，元寶藏知魏征有學識，請他到郡府掌管書記，魏征毅然前往。李密見到元寶藏的書信，常常讚歎不已。以後知道這些書信均出自魏征手筆，李密便請魏征到元帥府任文學參軍，掌管記室。魏征向李密條陳十項，李密雖然驚讚魏征之才，並不采納他的計謀。
隋大業十三年（617），李密刺殺了瓦崗軍首領翟讓，瓦崗軍的領導力量被大大削弱。瓦崗軍是一支很強的反隋力量，曾先後打敗隋將王世充和宇文化及。當然，瓦崗軍也付出了高昂的代價，強將死傷不少。李密對形勢估計錯誤，並且滋生了驕傲情緒。就在李密謀殺翟讓不久，王世充又集中二十萬大軍向瓦崗軍撲來。魏征非常關心這次戰鬥的勝敗。他找到李密的一個姓鄭長史說：“王世充遠道而來，必定要速戰。我們隻宜堅守，等他們糧草食盡，必然退兵，那時我們追擊，定能勝利。”魏征的意見無疑是正確的。但目光短淺的鄭長史卻斥之為“老生常談”。魏征非常生氣，拂袖而去。結果，李密大敗，瓦崗軍全軍崩潰，李密隻得投降唐朝。魏征也隨李密來到京城長安。
輔助唐太宗
魏征歸唐後，並不被重用，默默無聞。因而，他自動請求安撫山東。唐高祖李淵同意他的請求並把他升為秘書丞。從長安來到黎陽，魏征給據守黎陽的李密舊部徐世寫信，勸他歸唐。徐世深知形勢，很快就歸順了唐朝。這樣，魏征憑一封信就使唐朝獲得了山東（太行山以東）廣大地區。徐世後成為唐朝的一代名將，在多次征討中曾立下赫赫戰功。李淵賜以李姓，又避唐太宗李世民諱，改名李。
不久，魏征來魏州，說服元寶藏也歸附了唐朝。魏征從魏州又回到黎陽，同年十月，河北農民起義軍竇建德攻占黎陽，魏征為其所俘，竇建德就拜任魏征為起居舍人。武德四年（621），李世民率兵圍攻洛陽，王世充向竇建德求援，李世民一舉擊敗了王世充和竇建德，魏征再度歸唐。魏征當過道士，又在李密、竇建德的農民起義軍中生活了一段時間，他目睹了農民起義軍的偉大力量，也深刻了解了農民的悲慘生活和感情，這使他懂得“水能載舟，亦可覆舟”的道理，豐富的實踐對魏征以後的政治思想的形成產生了極大的影響。
太子李建成知魏征有才氣，便召為洗馬，掌圖書繕寫，魏征因而就成了東宮的官屬。李建成十分器重魏征，魏征也對李建成忠心不二。在李建成和李世民爭奪皇位的鬥爭中，魏征竭盡全力為李建成出謀劃策。魏征看到李世民在創建唐王朝的過程中立下了巨大功勞，深得人心。因此他提醒太子說：“秦王功蓋天下，中外歸心，殿下但以年長位居東宮，無以功以鎮服海內。”正當此時，逃往突厥的竇建德殘部劉黑闥（tà）經過幾個月的休整，又把河北失地重新占領，恢複了許多州縣。魏征抓住這一時機，對李建成說：“今劉黑闥散亡之餘，眾不滿萬，資糧匱乏，以大軍臨之，勢如拉朽，殿下應當帶兵打敗他們，以取功名，因結納山東豪傑，方可自安。”李建成同意魏征的建議，向李淵請命。李淵詔李建成率軍征討劉黑闥。魏征隨軍出征。唐軍至昌樂，劉黑闥嚴陣拒守，兩軍形成對壘。魏征向李建成建議，采用鎮壓和安撫相結合的兩手政策，遣返俘虜，使劉黑闥的同黨相信朝廷的赦免赦（shè）免：依定程序減輕或免除對罪犯的刑罰。政策，以瓦解其軍心。這一策略的實施使劉黑闥軍心渙散，紛紛逃亡，降唐的也不少。最後劉黑闥敗走洺（mínɡ）州，為唐軍所殺。
唐王朝統一天下後，李建成和李世民的矛盾日益激化，魏征屢屢勸說李建成早下決心，除掉李世民以絕後患。但在武德九年（626），李世民卻先發製人，在玄武門設下伏兵，一舉把李建成和李元吉誅殺，取得了玄武門之變的勝利。李淵被迫接受了現實，他立李世民為太子，並將軍國大權完全交給李世民。
玄武門事變後，李世民對東宮僚屬一律寬大。有一天，他把魏征召來責問道：“你為什麼要離間我們兄弟？”魏征從容答道：“太子若聽我的話，決不會有今日之禍。”李世民早就知道魏征的才能，又見他臨危不懼，更加器重他。任命魏征為詹事主簿，掌握東宮的庶務和文書。武德九年（626）八月，李世民當了皇帝，這就是唐太宗。唐太宗知人善任，提升魏征為諫議大夫。他派魏征安撫河北。當時，河北州縣有不少李建成和李元吉的餘黨在活動，他們終日惶恐惶（huánɡ）恐：驚慌害怕不安，害怕李世民鎮壓，因而有思亂之心。魏征曾建議太宗，要對他們出以公心，不計舊怨。唐太宗聽從他的意見，派他去安撫，允許他有權根據實際情況，自行變動處理。魏征到了磁州（今河北磁縣），見到押送進京的李建成侍衛李誌安和李元吉的護軍李思行，下令把他們釋放，並下令將原來東宮和齊王府的舊屬，一律赦免。這樣一來，河北也就安定了。