至正二十四年（1364）七月，常遇春先是隨徐達率軍攻占廬州。接著，又與鄧愈會合征服江西的新淦、吉安、贛州、南安等郡縣，嶺南韶州、南雄等地望風降附。第二年五月，常遇春又奉命與鄧愈率軍攻取湖北的安陸、襄陽；十一月與徐達率軍攻占了泰州。至正二十六年（1366）八月，朱元璋以徐達為大將軍，常遇春為副將軍，率兵二十萬東征張士誠。按照朱元璋的部署，徐達、常遇春的軍隊先攻取了湖州和杭州等地，翦除了張士誠的羽翼，平江（今蘇州）孤立無援，經過長達十個月的圍攻，平江城破，張士誠敗死。常遇春以功進封為鄂國公。
至正二十七年（1367）十月，朱元璋以徐達為征虜大將軍，常遇春為征虜副將軍，率二十五萬大軍出師北伐。當時北方元朝軍事力量已經大大削弱，所以，徐達、常遇春出師三個多月，即平定山東。洪武元年四月，明軍在洛陽的塔兒灣與元軍遭遇，常遇春單騎突入敵陣，麾下壯士從之，勇猛衝殺，在洛水之北擊潰元軍五萬，俘獲無算，史稱塔兒灣大捷。這一仗，占領了河南和潼關，奪取了陝西的門檻，為攻取元大都創造了極為有利的形勢。
洪武元年閏七月，徐達、常遇春率馬步舟師由臨清沿運河北上，連下德州、通州。元順帝攜後妃、太子等逃奔上都開平（在今內蒙古正藍旗東）。八月二日，徐達、常遇春一舉攻占大都，改為北平府。稍事休整即又揮軍西進，攻取山西。與精銳的擴廓帖木兒軍進行了艱苦的搏戰，平定山西。洪武二年三月，西征軍進攻陝西，元將李思齊由鳳翔奔臨洮，力竭投降。元順帝乘明軍主力長驅秦晉之機，命丞相也速率軍向北平反撲，兵鋒已抵通州。常遇春又奉命與李文忠率步卒八萬、騎士一萬馳救北平，元軍聞訊即向北逃奔，常遇春率軍追奔千裏，大獲全勝。為了覆其巢穴，最終解除元軍對北平的威脅，常遇春又率軍徑取元上都開平，順帝逃奔和林（今蒙古人民共和國哈爾和林）。常遇春奪取開平，全殲留守元軍，繳獲車萬輛、馬三萬匹、牛五萬頭。
洪武二年（1369）七月，常遇春自開平率師南歸，行至柳河川（今河北龍關縣西），得暴病卒於軍中，年僅四十歲。朱元璋聞喪大為震悼，賜葬鍾山之下，並親自出奠。書報大將軍徐達回京參加會葬。為表彰常遇春的功績，贈翊運推誠宣德靖遠功臣、開府儀同三司、上柱國、太保、中書右丞相，追封開平王，諡忠武。又封子常茂為鄭國公，歲祿二千石。常茂隸宋國公馮勝北征納哈出，不奉約束，被削爵，安置在廣西龍州；又別封次子常升為開國公，建文末，以抗靖難師安置雲南臨安（今雲南建水），憂死。
常遇春一生為將未曾敗北，自言能將十萬軍橫行天下，軍中有“常十萬”之稱，人每稱他為“天下奇男子”。可惜，他隻活到四十歲，就病死於柳河川。臨死前留下遺言：“恨不能再報效太祖。”