魏征出生在公元580年，正是隋初。他是巨鹿下曲陽（今河北晉縣）人。幼年喪父，窮困失意，扔下家產不經營，有遠大誌向，對於各種書籍、學問能夠融會貫通。正如史書所載：“魏征，少孤貧，落拓有大誌，不事生業。好讀書，多所通涉。”史書中關於魏征政治生涯的記載，最早是在隋末大業年間，大概是這麼說的：武陽邵丞元寶藏是魏征的朋友，他在大業十三年起兵響應李密時，讓魏征掌管文書。當然，魏征地位是很低的，基本上沒有任何發言權。
隋朝末年，由於隋煬帝無道。天下大亂，農民起義紛紛而起。尤其以李密領導的瓦崗農民起義勢力為最大。大業十三年，武陽郡丞元寶藏起兵響應李密，讓魏征掌管文書。李密每次得到元寶藏的書信，總稱讚寫得好，後來聽說是魏征寫的，馬上把他召來。自從魏征參加瓦崗農民起義以後，一直積極參與謀劃，他上書向李密獻策，提出“西取魏郡（今河北臨漳），南取黎陽倉（在今河南浚縣西南）”的主張、李密按照其建議，瓦崗軍很快奪取了黎陽倉，連同以前奪取的洛口倉、回洛倉，隋在中原的三大糧倉，已全部被瓦崗軍控製。這樣，就使隋軍陷入缺糧的困境，自然也解決了起義軍的糧食供給問題，加之他們開倉賑濟，又擴大了瓦崗軍的影響，壯大了起義隊伍，河南一帶的起義軍大多歸附了瓦崗軍。李密非常欣賞魏征，就召他為行軍元帥府的文學參軍，主管軍中文書。
當隋朝大將王世充領兵據守洛陽，與起義軍展開了生死搏鬥時，魏征很是清醒地看到了起義軍存在的問題，曾經主動進諫說：起義軍雖然有很重大的勝利，但傷亡也是很大的，軍費開支也很緊張，並且賞罰不均，不應當和隋軍進行硬拚。應當待敵軍糧盡，等敵軍撤退，再追擊，一定可以獲得勝利的。但李密並沒有聽魏征的正確意見，被王世充用火攻打了個措手不及，此戰，使瓦崗軍徹底覆滅了。後來，李密投降了李淵，魏征也跟著降了李淵。
魏征隨李密降唐，自願去安撫山東地區，被提拔為秘書丞。魏征認為李唐是很有前途的，就自願去招附李密的舊部。
當時，李密的一個大將李勳還在為李密守黎陽，魏征寫信給他說：“當初魏公由叛逆者而起兵，振臂大呼，四方響應，有部下數十萬之眾，勢力達到的地方有半個中國那麼大，然而，一失敗就再也振作不起來，最後終於歸附唐朝，因此知道天命已有所屬。現今您處於兵家必爭之地，如果自己不及早謀劃，那麼大事就會無可挽回！”李績得到信，終於定計歸附唐朝，並拿出糧食來，贈給唐淮安王的軍隊使用。同時，魏征也說服了元寶藏歸順了唐朝，為唐的統一作出了貢獻。
後來，李密又反，想招呼舊部，重新再來，但很快兵敗被殺。魏征在征得了李淵同意後，以國君之禮葬了李密，在寫碑文的時候把李密寫成了項羽，而不怕李淵的追究。對李密作的描述也是實事求是。他的這種精神得到了時人和後世的讚揚。也由此並沒有指責他投降了李唐。
619年10月，魏征還沒有回到長安，河北的竇建德攻陷黎陽，抓獲了魏征，讓他擔任起居舍人。而魏征做得也很好。
武德四年，竇建德在武牢關被李世民打敗，魏征與裴矩西行人渲關。唐太子李建成欣賞魏征才華，讓他擔任太子洗馬，主管東宮的經籍圖書。
武德五年，河北劉黑闊再次起兵，十月李元吉出兵河北，被劉軍打敗。十一月，太子李建成請求平定河北，他采納了魏征的建議，利用人心思安的情緒，釋放俘虜，動之以情，曉之以理，沒費多大勁，就平定了河北，使唐在河北、山東一帶的統治穩定下來。魏征在隨李建成的河北之行中，表現出超人的才於，從而很受李唐統治者的重視，而李世民在這個時候就已注意魏征了。
魏征見秦王李世民功高，曾暗中勸說太子早定對策，但李建成卻遲遲不能下定決心。
武德九年六月四日，秦王李世民先發製人，發動了血染蕭牆的“玄武門事變”，誅殺太子李建成和齊王李元吉。之後秦王責問魏征說：“你讓我們兄弟互相鬥爭，這是為什麼呢？”魏征毫不緊張，從容地說：“太子早聽魏征的話，就不會死於今天的禍亂。”李世民器重魏征敢於直言，並沒有怨恨他的意思。李世民即位後，拜魏征為諫議大夫，封巨鹿縣男。