後經過三年苦戰，終於除掉了以李賁為首的地方分離勢力，收複了交、愛、德、利、明等數州（約今北越全境）。
梁太清二年八月東魏降將侯景舉兵反梁，次年三月，攻破宮城，梁武帝病餓而亡，太子蕭綱被侯景扶為皇帝。由於鎮守廣州的梁宗室曲江侯蕭勃無意討伐，陳霸先隻好遣使往江陵，投到梁武帝第七子、湘東王蕭繹帳下，受其節製。
大寶元年正月陳霸先大軍從始興出發，抵達大庾嶺，擊敗奉蕭勃之命在南野（今江西南康以南約十五公裏處）攔截的蔡路養，乘勝進駐南康。陳霸先被蕭繹授為明威將軍、交州刺史。
此後近一年半時間，陳霸先與響應侯景的高州刺史李遷仕在南康一帶展開了拉鋸戰，終於擒斬李遷仕，於大寶二年六月發兵南康，沿贛江北下。
八月，陳霸先準備與蕭繹部下都督王僧辯會師。由於陳霸先名聲在王僧辯之上，故王僧辯心存畏忌。當時，王僧辯等西路各軍正好缺糧，情勢不妙，而陳霸先已貯有軍糧五十萬石，陳霸先以大局為重，迅速饋送三十萬石給西軍，這打消了王僧辯的顧忌，也在西路各軍中贏得了威信。
三年正月，陳霸先南路征討大軍從豫章（今江西南昌）出發，在建康與侯景展開了大決戰，終於徹底摧毀了侯景暴亂勢力，侯景被殺。
經王僧辯、陳霸先等各路將士勸進，蕭繹在江陵稱帝。陳霸先奉命鎮守在京口（今江蘇鎮江）。
梁承聖四年九月，陳霸先襲殺死王僧辯，廢黜蕭淵明，擁立蕭方智為帝，改元紹泰，是為梁敬帝。陳霸先任尚書令、都督中外諸軍事、車騎將軍，領揚、南徐二州刺史，掌握實權。
王僧辯被殺後，其餘部起兵反陳霸先。譙（今安徽和縣）、秦（今江蘇六合）二州刺史徐嗣徽以州降北齊，乘陳霸先東討義興之機，秘與豫州刺史任約，以精兵5000襲建康（今江蘇南京），占據石頭城。
陳霸先說降韋載還救建康，遣周文育攻杜龕，以救長城。又命裴忌助黃他攻吳郡（今江蘇蘇州），王僧智棄城逃吳興。十一月，北齊遣兵5000渡江占據姑孰（今安徽當塗），以援徐嗣徽、任約。
陳霸先於冶城（今江蘇南京朝天宮一帶）立柵以阻絕援軍。北齊又命安州刺史翟子崇、楚州刺史劉士榮、淮州刺史柳達摩領兵萬人於胡墅（今江蘇南京長江北岸）渡江，向石頭城送米3萬石，馬幹匹。
陳霸先得知，卷甲還建康，命侯安都夜襲胡墅，燒北齊船隻千餘艘，斷其糧運，並在大航（今南京鎮淮橋東）修繕侯景故壘，派兵據守。北齊軍亦於石頭城南秦淮河南岸築兩柵，與梁軍相拒。徐嗣徽等攻冶城柵，陳霸先親率鐵騎精甲出明門襲擊。徐嗣徽軍大敗，遂以柳達摩留守石頭，自往采石迎接北齊援軍。
十二月，侯安都敗徐嗣徽，俘數百人，陳霸先攻克北齊軍石頭，水南二柵，大敗北齊兵。徐嗣徽、任約等領北齊水步軍萬餘人準備進入石頭城，陳霸先派兵據江寧阻擊，北齊軍不敢進，駐屯浦口（今江蘇南京北）。