公之名諱士貴，字武安，弘農郡盧氏縣人。其遠祖在當時雖是知名人物，但他們崇尚道真，明察事理，不喜歡做官，就像傳說中的仙人赤鬆子那樣靜虛處世，淡泊怡然，神韻縹緲，逍遙於仙山玉嶺之間，陶然於霄漢雲天之上。朝代更替，始參政事，名噪朝野，經天緯地，猶如薑子牙輔佐明君，開創了帝王基業。禮崩樂壞之際，他們的出現，猶如漢武帝獲得寶鼎。所以天子賜爵封官，以旌表其宏勳德化；朝廷委以重任，以開啟其家族之福祚。此後，他們榮膺顯爵，屢屢獲得高官，這是多麼的光榮，何等地華貴！他們的高尚品德，千古不滅，就如草木之受雨露滋潤，更加繁茂不衰；他們高尚靜虛的品行，萬古長存，雖遭世變而絲毫不衰。
公曾祖父名俊，官居後魏銀青光祿大夫、橫野將軍。其祖父名和，官居北齊開府儀同三司、車騎將軍。他們英勇威武，沉雄大度，才華出眾，為國家屢立戰功。征戰時，他們能夠像墨翟那樣，心懷博愛，主張非攻，運用策略，出奇製勝。同時，他們能夠學習勾踐，關心百姓，體恤將士，心懷天下，與民同甘共苦。
公的父親名國，步入仕途後，先為陝縣主簿，後來擔任過硤州錄事參軍、曆陽縣令。不久以軍功被授予大都督。
他精明幹練，聲望美好，受到百姓的推許和敬重。他就像白馬那樣風姿超群，氣概非凡。他又像飛龍一樣，欲借尺木而騰飛。像他這樣的俊逸之才，統轄一個百裏小縣，對他來說，簡直是懷才不遇，難以施展他那遠大的才華和抱負。
公吸納了星辰之靈氣，順應天意，他就像千錘百煉的寶刀，寒光四射；又似一日千裏的駿馬，風馳電掣。公心胸豁達，如日月普照；品行仁厚，懷風雲而騰達。公言談磊落，品德高潔，以超凡脫俗之氣概，稱譽於關中大地；以聰明睿智的風彩顯揚於下邳圯上。公以孝道彰顯著自己美好的名聲，把為人之五常銘刻在心。公以禮儀規範著自己的言行，把為人的十倫發揚光大。公重道義而輕生命的君子氣節，在兒童時代就努力追求並予以實踐；重功名而輕生命的丈夫氣概，在少年時代就已做到。此外，公不僅以習武的英雄豪傑自居，而且能夠潛心鑽研經典詩書，學習古代文化遺產，用文化知識充實自己。但他並不死鑽那些無補於世的平庸之作，而是苦練殺敵本領，時刻胸懷馳騁疆場、建功封侯的遠大誌向。
隋朝末年，群雄竟起，天下大亂。割據勢力互相廝殺，政治局勢險惡混亂。土地荒蕪，百姓流離。這時，公閱曆增多，交遊日廣。他廣交豪傑，結集了一批熱血健兒，等待著能有一個漢高祖劉邦式的真龍天子出現，以便歸之而建功立勳。公在家鄉崤陵一帶，搶占山頭，開拓地盤，舉起反隋的大旗，自稱大總管，懷義公。義旗一舉，百姓積極響應，如雲潮般投奔到他的旗下。這時候，王世充在洛陽立隋越王侗為帝，欲挾天子以令諸侯；李密則在鞏洛一帶擁眾反隋，統師百萬。他們早聞張士貴的威名，真心誠意地希望他能夠歸附，於是許願封官，一再致書邀請。公則譏誚他們是井底之蛙，知識淺薄，懦弱不堪，不足與謀。公隻是養精蓄銳，坐觀時變。這時，我大唐皇朝在晉陽發跡，高祖皇帝義旗高舉，擁護他的人紛紛前去投拜；對隋朝腐敗統治充滿仇恨的三軍將士也怨聲載道，覺得到起事的時候了。李淵大軍直指隋都，當行軍至降水下遊時，公乃遣使投誠，真心歸附。高祖皇帝對他的英明決定大加讚歎，遂封公為右光祿大夫，賞賜格外隆厚；並降下詔書，令他率領所部堅守並擴大在河南所占的地盤。公的英明謀略，超人計劃，就像東漢伏波將軍馬援之神明；公的英勇氣概，精妙陣法，猶如蜀漢大將趙雲之布陣。河南西部一帶地方的肅清，的確全憑公的神威。後來，公統領所部，鎮守在陝州地界，並受相府司馬劉文靜節度。公多次向劉文靜陳述經略王世充、李密這兩股政治勢力的奇謀妙計，受到劉文靜的高度讚賞。於是，公又領兵攻下同軌，後來，我大唐皇朝將它改為函州。接著，公又領兵進擊王世充偽政權熊州刺史鄭仲達，大敗之。熊州地界的大小城鎮，紛紛不戰而降。當時身為宰相的高祖皇帝對公大加褒揚，賜他繕彩一千多段，名馬五匹；並賜金鞍勒，讓公享用。
義寧二年，隱太子李建成掛帥東討王世充和李密時，因為公才華出眾，聲譽很高，再加公每戰必勝，部隊精銳而受到提拔重用，遂任命公為第一軍總管，率領先鋒部隊衝鋒在先。公高舉戰旗，晝夜兼程，浩浩蕩蕩開赴前線。王世充選拔精銳之師以迎戰，結果大敗。李密以毅勁之旅對戰，亦敗戰而逃。大軍所指，無不滾鞍下馬，叩首投降。高祖皇帝頻頻賞賜金銀絹帛，隆恩所遇，不可勝言。不久，高祖登基，召見群臣，特意提名讓公進京見駕。公回朝後，龍顏大悅，再賜隆恩，任命公為通州刺史。公則謙虛抑己，不爭功利，就像東漢名將馮異在諸將爭功時獨躲樹下一樣。然而，皇朝的恩澤畢竟還是要滋潤勳賢，公又被授予高官。
此時，自稱西秦霸王的薛舉統率虎狼之眾，寇掠我涇州等地，時為秦王的太宗皇帝親自掛帥，領兵還擊。公隨太宗前往，陷敵先登之地，血染征袍，勳列諸將之首。高祖皇帝賜公奴婢80口，絹彩1000多段，金100挺。公正要跟隨太宗皇帝乘勝追擊，平定西北，高祖皇帝敕令公從前線退下，負責陝州一帶糧草的轉運。公把此事做得有聲有色，為皇朝控製東線局麵做出了貢獻，同時，這巨大的功勳被載入國家的重要檔案。公亦因功晉官加爵，被授上柱國。公就如東漢的吳漢為國家統一西南伐蜀而八戰八克；又若曹魏的郭嘉為消滅袁紹獻計十條而屢立奇勳；又如周武王被封於蔡、蔡仲承襲諸侯一樣得到隆厚的賞賜，以極高的地位而位列朝班。