大業十二年（公元616年）年底，李淵被擢升為太原（郡治在晉陽，今山西太原市）留守。太原是個相當妖孽的地方，自古為河東——山西地區的中心。曆史上無論上古時代政治中心在中原，還是中古秦漢時期西移關中，以至於晚近以來北徙京薊，它始終處於中央肩背或者說是肘腋位置。
就在李淵赴任太原之前，楊廣已經離開東都洛陽，第三次駕幸江都。他畏於北方農民起義的發展，不敢北還，隋朝已經失去對中國北方的控製。
趁著隋煬帝放棄京都，巡遊揚、越之際，翟讓、李密率領瓦崗軍攻下滎陽諸縣，屢敗隋軍，並攻取了洛口倉。洛口倉是帝國最大的糧倉，從江南經大運河運來的糧食基本上都囤積於此。在這種危機四伏的情況下，楊廣已經無力控製局麵。
李淵這時已經被隋煬帝楊廣安置於太原，其主要任務是清剿周邊地區的叛亂。李淵萬分感慨地對次子李世民說：“唐固吾國，太原即其地焉。而今我等能得此地，絕對是上天的恩寵和賜予。與而不取，禍將斯及！”也就是說，唐是李家的國，那麼太原這個地方就是我們的國土。亂世之中，能夠得到這樣一塊寶地，真是上天給予的恩賜。如果我們不領情，那麼就有可能會大禍臨頭。
對於早有準備的李淵來說，太原將會成為他開創帝王大業最理想的根據地。因為這裏既是給養充足、戰略地位顯要的軍事重鎮，同時還是五帝時期聖君唐堯的發祥地，正好與李淵“唐國公”的爵銜相吻合。
或許正因為如此，李淵才會“私喜此行，以為天授。”他認為這是老天給他的一次絕佳機會，他不可以錯過。
大業十三年初（公元617年），李淵父子決定趁亂起兵，在亂世之中撈上屬於自己的一票。晉中的糧秣充足，李淵早已讓武士彠牽頭當地的富商大賈積存下了大量糧草。但是，兵源卻隻有數千人，而太原副留守王威和高君雅是煬帝的親信，是皇帝派來專門監視李淵的，他們也有權控製軍隊，要招兵必須通過他們。
李淵的異常舉動自然引起了王、高二人的懷疑，他們私下找了武士彠來商量這件事。王威直接向武士彠提問：“唐公所募兵隊，盡付劉弘基、長孫順德等統管，我與公等針插不進，是何道理？
就在兩派鬥爭的時候，武士彠采取的態度與他的身份地位有直接關係。
這時候的武士彠具有幾種身份。首先，他是隋府兵集團中的成員。在李淵父子發起的太原起事中，有相當一部分人具有隋府兵軍官身份。比如後來成為李淵左膀右臂的裴寂與劉文靜。武士彠在這些人中間，地位不高，僅僅是隊正。但武士彠有他的優勢，那就是他是晉陽的土著地主。當時士族與庶族之間的隔閡依然很大，庶族與士族很難成為真正的朋友，但李淵經常住在武士彠家中。
大業十三年（公元617年）二月，馬邑軍人劉武周殺了太守王仁恭，自稱太守，接著又投降了突厥。這一事件引發了太原城內隋朝官兵的恐慌情緒。李淵借此，逼迫王威、高君雅同意他擴大兵力的要求。隨著李淵兵力的增加，原先依附於王、高二人的當地土著勢力也隨之轉向支持李淵。
武士彠和劉世龍都是在太原起事前變成了李淵的人，而在此之前，武士彠在巴結李淵的同時，私下與王、高二人也是很好的朋友，畢竟他們是隋煬帝派過來的。武士彠是商人，幹的就是資本投資的活。
他在心裏早就把單位成本與投入回報率算清楚了。武士彠在這時之所以放棄王、高二人，除了看好李淵之外，更重要的是保護自己的利益。他是晉陽的首富，在太原城內廣有資財，如果雙方在太原城內展開衝突，武士彠的資產必將蕩然無存。
時過境遷，唐高祖李淵問過武士彠這個問題。你當時為什麼會選擇跟著我。武士彠的回答充滿了神話色彩，他說：“我經常夢見高祖皇帝進入長安，做了皇帝。”
晉陽起事以後，武士彠兄弟四人，除了武士讓之外，都參加了唐軍。這是武氏家族發展過程中邁出的重要一步。
李淵太原起兵後，向長安進發，武士彠追隨其後，鞍前馬後地為他效力。
大業十三年（公元617年）末，唐軍攻破長安。次年四月，宇文化及在揚州縊死隋煬帝，隋朝滅亡。五月，李淵稱帝建立唐朝，改元武德，於長安太極殿（即隋大興殿）下詔書敕封開國元勳。
武士彠成了開國元勳之一，授光祿大夫，加封太原郡公。嗣後又被封為工部尚書，加封應國公。還讓他擔任長安城的城防將軍等重要職務。以後又外放為揚州都督、豫州都督、利州都督。
武士彠由木材商人一躍成為唐初的高官，尤其是大都督、大都長史等官，已是唐朝的高官大員。開國名將李靖、李孝恭、王君廓及唐高祖的子侄王爺才有資格任大都督，可見其位之尊。然而，武士彠雖然擔任要職，卻出身寒門，既無卓越的戰功，又無滿腹才學。他做官一直如履薄冰，每次受封，都會惴惴難安，多次辭受。他在受封光祿大夫時，就“固辭不受，前後三讓”。