公元616年，右驍衛將軍李淵任太原留守。這時，天下大亂，農民義軍的星星之火已成燎原之勢，活躍在河北的竇建德、中原的李密、江淮的杜伏威，成為反隋的三大主力軍。隋煬帝龜縮在江都不敢北歸，岌岌可危的隋王朝正在風雨中飄搖。慣於審時度勢的武士彠見天下大亂，就投靠了李淵。由於他善於交結，很快贏得了李淵的賞識，授任為行軍府司鎧參軍。公元617年，李淵率兵鎮壓了高陽“曆山飛”的農民義軍，在回師太原、途經文水縣時，曾在他家裏住宿，並“樂飲經宿”。其後“數過輒宿，遂以為常”。
李淵見政局動蕩不安，隋王朝大勢已去。就有起兵之意。而武士彠等人也勸李淵乘機起兵，以成大事，還將自己的兵書獻給了李淵。於是李淵借討伐叛將劉武周為名，大肆招降納叛，聚集兵馬。同年四月。右勳衛長孫順德、右勳寺劉弘基為了逃避遼東之役，都來投靠了李淵，頗受重用。接著，李淵命其次子李世民與長孫順德、劉弘基等往各地募兵，十幾天的時間就聚集了近萬人的軍隊。
隋煬帝向來對李淵放心不下，雖然命李淵做了太原留守，但還是讓其心腹王威、高君雅為副留守，以監視李淵的舉動。武士彠處事圓滑，既深納李淵，同時與副留守的關係也不錯。王威、高君雅見李淵大肆集結軍隊，懷疑他圖謀不軌，便與武士彠私下議論，認為長孫順德、劉弘基之流皆是遼東之役的逃兵，犯有死罪，怎能讓他們領兵，其中定有緣故，想要將他倆收審查辦。武士彠極力為李淵開脫，說這二人都是李淵的貴客，如將他倆收審查辦，必然會惹很多麻煩。王威等聽了他的話，隻好做罷。
留守司兵田德平也懷疑其中有詐，想勸王威審查募兵之事，武士彠知道此事後，即來勸止他，並說討叛的軍隊皆隸屬於留守李淵，王威、高君雅不過是留守的座客，他能有什麼作為？田德平聽了，也取消了這一做法。
同年五月，李淵以為萬事俱備，便設計殺掉了王威、高君雅。之後。便公然打起了反隋的旗號，武士彠被任命為大將軍府鎧曹參軍。又過了幾個月後，李淵即率大軍向關中進發，一路過關斬將，並很快攻占了隋西京長安。武士彠雖未有軍功，也未有出生入死的汗馬功勞，隻因他“從平京城”之功，擢任庫部郎中，拜光祿大夫，封太原郡公。公元618年六月，李淵稱帝，史稱唐高祖，正式建立了大唐王朝，在論功行賞時，武士彠被列為二等功臣，拜上柱國、金紫光祿大夫、散騎常侍兼檢校並鉞將軍，並與長孫順德等“免恕一死，以彰元勳”。從此，商人出身的武士彠官運亨通，不斷加官晉爵。
公元620年，又加授武士彠為工部尚書，晉封應國公。但是，正當他飛黃騰達，在仕途上存風得意的時候，家裏卻相繼發生了一些不幸的事件。他的兩個兒子先後病故，正在萬分悲痛之時，他的原配夫人相裏氏又不幸逝去。相裏氏也是寒門女兒，在武士彠寒微時與他結發為夫妻，共為他生下四個兒子。她的突然病逝，使武士彠陷人了更大的痛苦之中。但是，武士彠一向對皇帝忠心耿耿，對其職守盡心竭力。他的兒子夭折，無暇過問；妻子病危，也很少前去看望。唐高祖獲知此事後，深受感動，大加褒獎，特頒下敕令說：“此人忠節有餘。去年兒夭，今日婦亡，相去非遙，未嚐言及。遺身殉國，舉無與比。”唐高祖一方麵遣使者前去吊唁，對他好言安慰；另一方麵則親自物色合適的人選，為他續弦。因為唐高祖知道，武士彠剛過不惑之年，是應該有繼室。正巧，改嫁給楊師道的高祖第五女桂陽公主獲悉同族楊達家有一個女兒尚未出嫁，於是便告訴父皇。
楊達是隋朝楊氏宗室成員，乃觀德王楊雄之弟，在隋煬帝時官至宰相，兼領東都副監，主持營造東都城。這時楊達雖已去世，隋朝也不複存在，但是這名門望族出身的楊氏之女仍是寒門庶族所夢寐以求的。據《天周無上孝明高皇後碑銘並序》記載，楊氏自幼聰穎，她不學女紅，卻“明詩習禮”，好讀史書。因此她經綸滿腹，還寫得一手好文章。也許她在生活道路上坎坷，婚姻上的不幸，致使這一大家閨秀，雖時過不惑之年，仍是待字閨中，不曾嫁人。
唐高祖聽到桂陽公主的報告，認為楊氏與武士覆年齡相當，比較般配，就告訴武士彠說：“朕自為卿更擇嘉偶，隋日有納言日遂寧公楊達，英才冠絕，奕無親賢。今有女，誌行賢明，可以輔德。”唐高祖把自己的旨意給他說明，武士彠真是大喜過望，於是經桂陽公主牽線搭橋，高祖皇帝親自主婚，吹吹打打，熱熱鬧鬧地完結了這門婚事。武士彠真有點受寵若驚，深感皇恩浩蕩，無限榮耀。時在公元622年前後。
自武士彠續娶楊氏之後，二人情投意合，纏綿如蜜。楊氏先後為他生下三個女兒，長女長大後嫁給賀蘭越石，後封為韓國夫人；二女兒武則天，後來卻做了大唐皇帝。