洪武元年四月初四，徐達命都督僉事陳德駐守汴梁，自己親自統率步兵和騎兵直搗元河南行省省府所在地洛陽。四月初八，徐達率大軍通過虎牢關，還未抵洛陽城，即遭到元將脫因帖木兒領兵五萬，在洛水以北十五公裏的地方列陣迎戰。徐達布陣完畢後，副將軍常遇春單騎突入敵陣，遭到敵人二十名騎兵持槊圍攻。常遇春沉著應戰，一箭射殺其前鋒，敵軍為之喪膽。徐達見狀後，指揮大軍趁勢出擊。正在這時，忽然南風驟起，戰場上塵土飛揚，呼喊廝殺聲驚天動地，迎風而戰的元軍陣腳大亂，倉皇敗逃。徐達率兵一路追殺，俘獲戰俘物資無數。脫因帖木兒逃往陝州。徐達旋即率兵進逼洛陽城，在北門外安營紮寨。由汴梁逃到洛陽的元將李克彝逃往陝西。元河南行省平章、梁王阿魯溫勢孤力單，被迫率領洛陽軍民出降，洛陽宣告平定。
在徐達的北伐大軍連克汴梁、洛陽兩大城池後，河南元軍已顯出土崩瓦解之勢。但是大將軍徐達並沒有因此濫用武力，反而采取了極大的克製態度。他派人招降河南各地的元軍殘部，盡可能避免使用武力，力求將戰爭給人民造成的損失降到最低點。在徐達的招撫政策下，元嵩縣、滎陽、登封、鞏縣（今河南鞏義市）、鈞州（今河南禹州市）、汝州等地守臣皆來歸附，而徐達也乘機派兵攻占了中原和西北地區之間的軍事要塞 潼關。
（四）攻克元都
徐達順利攻占汴梁和洛陽並扼守潼關要塞的消息傳到應天後，明太祖朱元璋決定親自北上，與大將軍徐達等會合，共同商議推翻元朝，占領元大都的部署。
洪武元年五月二十一日，明太祖禦駕來到汴梁，並詔令改汴梁路為開封府。六月初一，軍務繁忙的大將軍徐達從洛陽趕赴開封，謁見明太祖。明太祖在對徐達一番稱頌和慰勞之後，轉入正題，對徐達說：“朕聞河朔之民，日夕望吾師至，將軍宜與諸將乘時進取而安緝之。朕觀天道人事，元都可不戰而克。大丈夫建功立業，各有其時。揆時之會，不失時機，在將軍等勉之。”明太祖的話正是勉勵徐達等抓住時機，率兵北進，推翻元朝統治，為國建功，為己立業。而徐達也早在心中謀劃過此事，因此，君臣二人不謀而合。於是，兩人開始仔細商討北取元都的具體計劃。明太祖朱元璋雖然認為徐達提出的從河南直取元都的建議不無可行性，但他還是堅持讓徐達按照自己擬定好的渡過黃河經冀南轉而東向，然後由齊魯北上進攻元都的想法進軍。
洪武元年閏七月初二，大將軍徐達從開封啟程，統率大軍北渡黃河，進取豫北州縣。沿途元朝守將大多棄城而逃，衛輝（今河南衛輝市）、彰德（今河南安陽市）等地劃歸明朝版圖。初七，徐達繼續統兵北上，進占河北磁州（今河北磁縣）。次日，師至邯鄲，元守將出逃，縣尹率百姓出降。十一日，徐達遵照明太祖的指令，率軍東向，進入山東臨清，並調派駐紮東昌（今山東聊城）的張興祖前來會師，共同北上。二十三日，在連克長蘆（今河北滄州市）、清州（今河北青縣）後，徐達兵至直沽（今天津市），繳獲元軍七艘海船，並聯結成浮橋，使北伐大軍順利渡過海河。經過幾天的激烈交戰，元大都外圍兵力已被清除，徐達率兵進駐通州城（今北京通州區），兵鋒直指元大都。元順帝得報後，大為恐慌，當晚帶領其後妃、太子等悄悄溜出京城，逃往上都（今內蒙古多倫市西北）。八月初二，徐達親率大軍輕取大都，俘獲元高官數十人，查封元朝府庫及各種圖籍寶物等，並嚴明軍紀，貼出安民告示，使得大都城內秩序井然，百姓交口稱讚，拍手稱快。至此，入主中原半個多世紀，由蒙古族建立起來的元朝政權正式宣告滅亡。八月十三日，徐達攻克元大都。推翻元朝政權的捷報傳到應天，群臣慶賀，明太祖詔令改大都為北平。至此，曆時近一年的北伐戰爭勝利結束。