此後，光武帝進一步削平各地割據者，統一大業進入新階段。他必須與地主階級內部各個政治集團、各派割據勢力展開激烈的爭奪。當時張步割據山東青州，劉永割據梁地，李憲割據廬江（今安徽合肥），秦豐割據南郡（今湖北江陵），還有自保河西五郡的竇融、稱雄於天水的隗囂、稱帝於巴蜀益州的公孫述，以及與匈奴勾結的盧芳等各派政治勢力。在群雄當中，對劉秀威脅最大的是劉永。當時劉永雄據今豫東、皖北，與青州張步、蘇北董憲、廬江李憲連成一個頗大的軍事同盟，因而他實際上擁有魯西、蘇北、皖北、豫東廣大的土地，專製東方，成為劉秀的勁敵。況且，劉永是梁孝王八世孫，曾詔封梁王，在宗法中的地位比劉秀有利，因此對劉秀威脅最大，首先就要翦滅他。從建武二年（公元26）夏開始，劉秀派軍進攻劉永及其部下；到建武六年2月，劉永的勢力完全肅清，曆時近4年。
與此同時，光武帝又遣別將南征秦豐於黎丘（今湖北宜城北），征延岑於武當（今湖北均縣西北），征田戎於津倻（今湖北沙市）。秦豐被俘；延岑、田戎皆亡入蜀，投奔公孫述。割據漁陽的彭寵為其蒼頭奴所殺，並投降劉秀。於是北自幽燕，南至荊襄，皆次第平定。但當時西南與西北尚為眾雄所割據，其中勢力最大者為公孫述，據有益州之地，即今川、貴、雲大部分地區，地勢險阻，資源豐富。其次為隗囂，據有安定、隴西、天水、武都諸郡，即據有今甘肅東南地區，糧草充足，士馬強壯，進可闖入關陝，退可自保邊陲。又次為盧芳，據有晉、陝北部和內蒙一帶。因而從建武五年（公元29）開始，劉秀逐個平定上述諸割據勢力。首先，拉攏竇融歸附東漢皇朝，任涼州牧。竇融歸附後，劉秀準備用武力進攻隗囂。大戰數年，建武九年（公元33）正月隗囂病死，其將立其子隗純為王。漢軍乘機發動軍事進攻，竇融率軍配合夾擊，十年10月大破隗純於落門（今甘肅甘穀西），隗純投降，隴右平定。所謂成語“得隴望蜀”之典，至此東漢對割據巴蜀的公孫述已形成南北夾擊的鉗製攻勢。劉秀發兩路大軍攻蜀：一路自北南下入蜀，一路溯長江而上。從建武十一年（公元35）春開始到建武十二年（公元36）11月，公孫述自將數萬人攻吳漢。吳漢部下數萬擊之，述兵大亂，並大“屠成都”（《後漢書·光武帝紀》）。亂陣中公孫述被刺中胸部，當夜身亡。次日，其部下延岑以成都投降，巴蜀平定上報。最後剩下一個盧芳，因有匈奴援助，劉秀屢次派遣吳漢、杜茂攻打之，均難克下。至建武十二年（公元36）平定巴蜀，盧芳知劉秀已統一中國，孤立不能相敵，乃逃亡匈奴。至此全國統一的局麵基本實現；此時距光武稱帝已有11年了——也就是說，他再度統一中國至少花了11年時間！
善於識人的光武帝，將運籌帷幄的鄧禹比喻成張良，將秉公執法、長期鎮守後方的寇恂比喻成蕭何，將性格剛毅、文武雙全的賈複比喻成曹參，將忠勇無敵與殺罰果斷的吳漢比喻成周勃；而在他心中，功高蓋主的戰神將軍韓信的位子，自非耿弇莫屬了。