當初，神武從京師出發擬將北行，認為洛陽久經戰亂，王氣已盡，即便有山河之險，但土地狹窄，趕不上鄴地，因此請求遷都。魏帝道：“高祖定鼎河洛，為永久的基地，規劃營建，一直到世宗朝才告結束。王既然有功於國，就應該遵從太和舊典。”神武聽從了詔令，到此時，又舊事重提。調遣三千騎兵鎮守建興，增益河東及濟州的軍隊，規定以白溝為界，所有船隻不準入洛，各州和糴糧食全部運送鄴城。魏帝又詔令神武：“王若順從民心，杜絕議論，唯有撤退河東之兵，罷除建興之戍，送歸相州之粟，追還濟州之軍，命令蔡俊辭職，打發邸珍離徐，止戈散馬，各治家業，所須糧食，另請轉送。那麼小人就會閉口，懷疑也就不會產生了。王在太原高枕無憂，朕在京洛無為而治，永不舉足渡河，互不再動幹戈。王若揮軍南進，問鼎輕重，朕雖不武，欲止不能，一定要為社稷宗廟考慮，籌劃出最好的計策。決策由王，非朕所能定奪，造山止簣，實在可惜。”此時魏帝讓任祥兼任尚書左仆射，加開府儀同三司，任祥棄官逃到河北，占據地盤等候神武。魏帝於是下令凡是北方的文武官員去留聽便，下詔公布神武罪行，為北伐籌劃營謀。神武也停馬宣言，說：“今爾朱氏專權，我等舉起義旗，輔佐皇上，義貫幽明，反被斛斯椿誣陷，把忠誠說成了叛逆。古代趙鞅興晉陽之兵，誅殺君側的惡人。今日南進，隻不過是聲討斛斯椿而已。”委任高昂為前鋒，說：“如果聽了司空的話，那會有今日的舉措！”司馬子如回答說：“原本打算立一弱小者為帝，今天的行動就是為了這個目的。”魏帝向關右征兵，召請賀拔勝趕往行在，派遣大行台長孫承業、大都督潁川王斌之、斛斯椿一同鎮守武牢，汝陽王暹守石濟，行台長孫子彥率領前恒農太守元洪略鎮陝，賈顯智帶豫州刺史斛斯元壽討伐蔡俊。神武指派竇泰和左廂大都督莫多婁貸文抗擊顯智，韓賢抵擋汝陽王暹。斛斯元壽部投降。竇泰、貸文在長壽津與賈顯智相遇，顯智秘密談妥了投降事宜，就率眾撤走。軍司元玄發覺後，趕回行在，請求增兵。魏帝調遣大都督侯幾紹奔赴前線，兩軍便在滑台東側大戰，顯智帶領兵士投降，侯幾紹陣亡。
七月，魏帝親自帶領大眾屯駐河橋。神武在距河北十餘裏的地方，再次派人表明誠意，魏帝不睬。神武就率軍渡過黃河。魏帝向群臣問計，有的說往南投奔賀拔勝，有的說往西占據關中，有的說固守洛口決一死戰。何去何從，無法決定。元斌之與斛斯椿因爭權奪利，關係不洽，斌之留下斛斯椿抄小路跑回，蒙騙魏帝說：“神武的兵來了！”當天，魏帝逃往長安。己酉日，神武進洛陽，暫居永寧寺。
神武認為不能錯過大好失機，便同百官商議，任命清河王發為大司馬，居尚書下舍而秉承意旨來決斷大事。王出入稱警蹕，神武討厭。不久，神武抵達恒農，於是向西攻下了潼關，活捉了毛洪賓。進軍長城，龍門都督薛崇禮投降。神武率部後退，駐紮河東，命令行台尚書長史薛瑜守潼關，大都督庫狄溫守封陵。築城蒲津西岸以守華州，便命令薛紹宗做刺史。高昂行豫州刺史事。神武從晉陽出發，到此時為止已向魏帝致函四十餘通，但都沒有得到答複。九月初十日，神武返回洛陽，又打發僧人道榮奉表入送關中，仍無答複。於是聚集百官、沙門、耆老，議論立誰為帝。神武認為從孝昌喪亂開始，國脈中斷，神主無依，昭穆失序，永安帝以孝文帝為伯考，永熙帝遷孝明帝神主於夾室，功業喪失福佑短淺，根源就在這裏。因此決定立清河王長子元善見。大家意見一致，便向清河王報告。王說：“天子無父，若立我兒，我會毫不憫惜自己的生命。”元善見即位，這就是東魏史上的孝靜帝。從這時起，魏一分為二了。神武考慮到魏帝跑到了關中，擔心他進逼崤、陝，洛陽又在黃河之外，接近梁境，如若進攻晉陽，兩邊不能很好銜接，就動議遷都於鄴，護軍祖瑩讚同。詔書下達三日，車駕出發，戶口四十萬也狼狽上路。神武留在洛陽處理事務，事情辦完後就回到了晉陽。從此開始，軍國大事，全歸相府處理。
天平二年（535）正月二十二日，魏帝下詔褒獎，任命神武為相國，授黃金裝飾的斧子，佩劍著鞋進宮殿，朝見不快步地走。神武堅辭不受。
三年（536）正月二十二日，神武統領庫狄幹等萬餘騎兵偷襲西魏的夏州，不吃熟食，四天就趕到了。捆綁長矛做成雲梯，深夜攻進城裏，活捉了刺史費也頭斛拔彌俄突，仍然委任他做刺史。留都督張瓊鎮守夏州，將其部落五千多戶遷往東魏。十二月二十五日，神武從晉陽出發進行西征，命令兼仆射行台汝陽王暹、司徒高昂等人急赴上洛，大都督竇泰從潼關進發趕往此地。
四年（537）正月十七日，竇泰軍敗自殺。神武宿營蒲津，因冰薄不能渡河無法支援，便班師回歸。高昂攻克上洛。十月十八日，神武西討，從蒲津渡河，有眾二十萬。周文在沙苑布陣。因地形險峻，神武率部稍作退卻，西魏軍呐喊著發起衝鋒，東魏軍大敗，丟棄武器盔甲十八萬餘件，神武騎著駱駝逃跑，又坐船回到了黃河東岸。
元象元年（538）三月初二日，神武堅決要求解除丞相之職，魏帝表示同意。七月二十五日，行台侯景、司徒高昂在金墉圍住了西魏大將獨孤信，西魏帝以及周文都跑來救助。大都督庫狄幹率領諸將作為前鋒，神武統眾緊隨其後。八月初四日，戰於河陰，東魏大敗西魏軍，俘虜數萬。司徒高昂、大都督李猛、宋顯陣亡。西魏軍失敗，獨孤信率先跑入關內，周文命令都督長孫子彥保守金墉，燒燃軍營後就逃走了。神武派人追趕到崤，沒有追上隻得返回。早些時候，神武估計西魏軍會來侵犯，率眾從晉陽出發，抵孟津，還沒有渡過黃河，交戰的雙方互有勝負。不久，神武過河，長孫子彥棄城逃走，因此神武毀掉了金墉城。
興和元年（539）七月二十六日，魏帝進神武為相國、錄尚書事，堅辭。四年九日，神武西征。十月初六日，在玉壁城包圍了西魏儀同三司王思政，接連挑戰，西師不出。十一月二十一日，天下大雪，士卒多凍死，神武才下令撤退。
武定元年（543）二月十二日，北豫州刺史高慎占據武牢投奔西魏。三月二日，周文率眾援助高慎，包圍了河橋南城。十八日，神武在芒山打敗了周文，擒獲西魏督將以下四百餘人，俘虜斬殺六萬多人。這時有一個偷殺驢的軍士，依軍令罪當處死，神武沒有殺他，準備帶回並州處理。第二天交戰，這個軍士逃到西魏軍那裏，報告了神武的所在。西魏軍集中了全部的精銳發動猛攻，打垮了東魏軍，神武的坐騎丟失，赫連陽順把自己的戰馬送給了神武，和蒼頭馮文洛將神武扶上馬後一塊逃跑，跟隨的步騎隻有六七人。敵人的追兵迫近，神武的親信都督尉興慶叫道：“王快跑，興慶身上有箭百支，可以射殺百個敵人。”神武鼓勵他說：“事成之後，讓你做懷州刺史，如果你死了，就用你的兒子。”興慶回答說：“兒子還小，就給我的兄弟吧。”神武答應了。興慶與敵搏鬥，箭盡而亡。西魏太師賀拔勝帶十三騎追趕神武，河州刺史劉洪徽射死了其中的兩個。賀拔勝的長矛即將刺中神武，段孝先從旁邊射倒了賀拔勝的坐騎，遂免於難。平定豫、洛二州。神武派遣劉豐追擊敵人，將領土一直擴展到弘農才返回。七月，神武寫信給周文，譴責他殺死了孝武帝。八月十四日，魏帝詔令神武為相國、錄尚書事、大行台，其餘官爵依舊，堅決推辭才止。
四年八月二十三日，神武擬將西伐，率兵從鄴來到晉陽集中。殿中將軍曹魏祖進諫說：“不行啦，本年八月是西方王，以死氣迎生氣，對客人不吉利，對主人還可以。真有行動的話會傷大將軍。”神武不理。九月，神武圍困玉壁向西魏軍挑戰，西師不敢應。西魏晉州刺史韋孝寬守玉壁，從城中放出蒙著鐵麵的人來，神武命令元溢射擊，射中了鐵麵人的眼睛。采納術士李業興的“孤虛法”，將士眾聚集到玉壁城的北邊。北邊，為天險。於是堆起土山，挖掘十條地道，同時又在東邊開挖了二十一條地道作為攻城的手段。玉壁城內無水，須於汾河取水，神武截斷汾河，不讓流入城中，一夜功夫就做成了。韋孝寬將神武兵卒堆造的土山奪了過去。圍城五十多天，沒能攻下，卻死亡七萬多人，神武下令將死者集中埋在一個大塚中。神武重病。十一月初一，神武抱病乘車返歸。十一日，調遣太原公高洋鎮守鄴城。十二日，召世子高澄回晉陽。這時，西魏都說神武圍玉壁時被箭射傷，神武聽到報告後，就強打精神與諸貴人相見，還讓斛律金高唱《敕勒歌》，神武在一旁和唱，唱得淚流滿襟。
侯景一向小看世子，曾對司馬子如說：“王在，我不敢有非分之舉；王無，我不能與鮮卑小孩共事。”子如趕緊捂住了他的口。此時，太子代神武修書征召侯景。侯景先前與神武有約，得信函，若信函背麵有小黑點，才來看望。信到，無約定的記號，侯景未來，又聽說神武病重，便擁兵自守。神武對太子說：“我雖然病重，可是你的臉上卻有更多的憂慮之色，為什麼？”太子沒有回答。神武又問：“難道不是擔憂侯景反叛？”答：“是的。”神武說：“侯景專製河南十四年，常懷飛揚跋扈之誌，隻有我能調養，他豈能讓你駕馭！如今天下未定，千萬不要匆匆發布我死的消息。庫狄幹是鮮卑老人，斛律金為敕勒老人，兩人性格耿直，是不會背棄你的。可朱渾道元、劉豐生從遠道來投奔我，無疑沒有異心。賀拔焉過兒樸實而且很少有過失。潘相樂原本是作道人，心地善良而且寬厚，你們弟兄會得他的幫助。韓軌少戇，應該寬容。彭相樂難得真心實意，應該提防著他。稍微能與侯景抗衡的隻有慕容紹宗，因此我不讓他富貴，留下給你，你必須殊禮相待，委以重任。”
五年（547）正月初一，日蝕，神武說：“日蝕是為了我喲，死也無憾了。”八日，向魏帝呈送書啟。是日，崩於晉陽，時年五十二歲。天保初年，追封為獻武帝，廟號太祖。天統元年（565），改諡號神武皇帝，廟號高祖。