王莽末年，天下連年鬧蝗災。盜賊蜂起。地皇三年，南陽發生饑荒，各家的賓客大多去偷盜搶劫。光武為逃避官吏便躲到新野，順便在宛城出售糧食。宛人李通等人用圖讖煽動光武說：“劉氏複興，李氏為輔。”光武起初不敢答應，然後暗自思量哥哥伯升一向結交無業遊民，他必將發動起義，況且王莽敗亡的征兆已經明顯，天下正在動蕩，於是同李通等人定下大計，從此就開始購置兵刃弩箭。十月，與李通從弟李軼等起兵於宛城，當時他二十八歲。
十一月，有彗星出現在張星星區。光武於是率領賓客回到舂陵。當時伯升已經聚眾起兵。剛開始，各家子弟十分恐懼，都逃散躲藏起來，說：“伯升要害我們。”等到看見光武身著武將的絳衣大冠，都吃驚地說：“謹慎厚道的人也幹這種事嗎？”這才稍微心安了一些。伯升於是請來新市軍和平林軍，同他們的主帥王鳳、陳牧一道向西進攻長聚。光武剛開始騎牛，殺死新野尉後才得以騎馬，占領並屠戮了唐子鄉，又殺死了湖陽尉。軍中瓜分財物不均，眾人憤恨不平，紛紛想反攻劉姓各部。光武收斂起宗族成員所得到的財物，全部給了他們，眾人才開始喜悅起來。進占棘陽後，與王莽前隊大夫甄阜、屬正梁丘賜交戰於小長安，漢軍被打得落花流水，便退守棘陽。
更始元年正月初一，漢軍重又與甄阜、梁丘賜交戰於沘水西岸，大敗敵軍，斬殺了甄阜、梁丘賜二人。伯升又在淯陽擊敗王莽的納言將軍嚴尤和秩宗將軍陳茂，進而包圍了宛城。二月初一，擁立劉聖公為天子，以伯升為大司徒，光武為太常偏將軍。三月，光武又另與一些將領征討昆陽、定陵、郾等地，全都攻占下來，繳獲大批的牛馬和財物，數十萬斛糧食，轉運到了宛城城下，王莽獲悉甄阜、梁丘賜戰死，漢帝已經登基，心中十分恐懼。派遣大司徒王尋、大司空王邑統兵百萬，可以作戰的士兵為四十二萬人。五月，抵達潁川，又和嚴尤、陳茂會合。早些時候，光武曾替舂陵侯家向嚴尤申訴拖欠租賦的事，嚴尤召見後，很欣賞他的風度。到現在，漢軍城中出來投降嚴尤的人說光武不掠奪財物，隻是籌劃軍事策略。嚴尤笑道：“是那位須眉俊美的人嗎？他怎麼竟做這種事呢！”
漢光武帝剛開始時，王莽征調天下精通兵法的六十三家學派中的數百人，一並任用為軍吏；又選拔並訓練衛兵，招募猛士，組成龐大的軍隊開赴戰場，各種軍旗和軍用物資在千裏大道上絡繹不絕。當時軍中有一個巨人叫巨無霸，身高一丈，腰寬十圍，任命為壘尉；又驅趕各種如虎、豹、犀牛、大象之類猛獸，以助軍威。自秦漢以來，出征的軍隊如此聲勢浩大，還從未有過。光武率領數千名士兵，到陽關巡邏。眾將領看到王尋、王邑軍容盛大，轉而順原路撤退，奔回昆陽城，全都心驚膽戰，憂慮後方的妻子兒女，想分別返回各自原來駐守的城池。
光武建議道：“現在士兵和軍糧都很少，而外敵強大，合力抵抗他們，或許可以立功；如果力量分散，勢必全都難以保全性命。而且宛城尚未奪取，主力不能前來救援，昆陽一旦被攻破，一日之間，各部也將被消滅，今天大家不同心協力共同謀取功名，反而要去守護各自的妻子兒女和財物嗎？”眾將發怒道：“劉將軍怎敢這樣說話！”光武笑著起身走了。恰巧這時偵察的騎兵回來，說王莽大軍將進抵城北，軍隊綿延數百裏，也看不見尾。眾將領窘迫地相互商量說：“還是重新請劉將軍來商量對策吧。”光武再度剖析成敗得失。眾將軍憂慮窘迫，都同聲稱是。
當時城中隻有八九千人，光武便讓成國上公王鳳、廷尉大將軍王常留守昆陽，晚上，自己同驃騎大將軍宗佻、五威將軍李軼等十三人騎馬，出昆陽城南門，到外地調集兵馬。這時王莽軍隊來到城下的將近十萬人，光武等人幾乎不能出城。他們到了郾、定陵，調動各營所有兵馬，而那些將領卻貪戀錢財，想分兵留守它。光武說：“現在如果能夠擊敗敵人，所得珍寶是已有的萬倍，可以大功告成；如果被莽軍打敗，腦袋都沒有了，還需要什麼財物！”大家這才聽從了他的命令。
嚴尤勸說王邑說：“昆陽城小但堅固，現在假冒帝王稱號的人在宛城，請速派大兵前往，他們一定逃走；宛城敵人被打敗了，昆陽自然降服。”王邑說：“我過去曾以虎牙將軍的身份圍攻翟義，因為沒能將他生擒，所以受到責備。今天率領百萬大軍，又遇到敵人據守的城池而不能攻取，如何交待？”於是王邑圍繞昆陽城設下數十道防線，建立成百座營地，樹起雲車高十餘丈，靠近昆陽俯視城中，各類旗幟遮蓋了田野，人馬攪得塵埃滿天，敲鼓擊鉦的軍樂聲傳出數百裏之遠。莽軍有的挖掘地道攻城，有的用衝車撞城擊和用篷車攀城。大批弓箭手連續不斷發射，箭如雨下，城中軍民不得不背著門板而打水。王鳳等人乞求投降，遭到拒絕。王尋、王邑自以為勝利已為時不遠，神態十分安閑，晚上有流星墜落在王莽軍營地之中，白天有雲，形如山丘，從營地上空直落而下，離地一尺左右才消散開來，莽軍將士全部都匍匐在地上跪拜。