在劉鄧野戰軍主力發起渡河作戰的同時，華東野戰軍的五個縱隊在津浦路泰安至臨城一線發起攻勢予以有力配合行動。
一切準備停當，渡河作戰開始了。6月30日的夜晩，天空纖雲四卷，皓月舒波，青紗帳裏，涼風習習。魯西南的夏夜，顯得無比的靜謐。但是，就在這一片靜悄悄的時刻裏，一場驚天動地，標誌中國曆史轉折的重大事件發生了，劉鄧十幾萬大軍已集結在300餘裏黃河岸邊。成百的大小船隻，開出了蔭蔽的船塢。一列列巨人似的大炮，已經從濃密的青紗帳裏昂起了頭，張開了口。來自八個縣的船工們，胸前戴著大紅花，一一跨上舵位，拉開了架勢，載上全副武裝的戰士，齊舉競發，疾駛對岸。起初是偷渡，當蔣軍發現後，改為強渡。在北岸的炮火掩護和南岸預伏的冀魯豫獨立第一、二旅部隊的接應下，劉鄧野戰軍一、二、三、六共4個縱隊12萬多人，以偷渡與強渡相結合的戰術，在長達300多裏的戰線上，分8個大的地段寬正麵突擊，僅用3個小時，一舉突破黃河天險，揭開了外線戰略反攻的序幕。
劉鄧大軍渡河作戰成功，蔣介石集團驚恐萬狀。蔣介石顧不得在南京坐等美國總統特別代表魏德邁的到來，而匆匆乘飛機到鄭州前線，走下飛機隻環顧一眼在場等候多時的將領，便一頭鑽進轎車直奔鄭州“剿總”陸軍總部鄭州指揮所作戰廳，召開軍事會議，蔣介石顧不得落座喘息，在俯首魯西南戰場沙盤後，對將領們說：“對付劉鄧，可不像別人想象得那麼簡單！”接著他問各將領：“怎麼把劉鄧部隊再趕回黃河彼岸，你們有什麼高見？！”此時，環立在作戰廳的將領們，誰個也沒吱聲。蔣介石看著顧祝同，顧祝同惶恐地說：“校長的想法，就是學生的想法。”接著，蔣介石眼光在劉峙麵前停下來，這位“福將”更是誠惶誠恐，連忙說：“領袖的打算，也是我們的打算。”蔣介石見眾人都不敢多說，不禁勃然大怒：“嗯，嗯，飯桶，乏貨，銀樣蠟槍頭！幾個師的兵力，憑著黃河天險，一槍未開，被共軍搶渡！這是失職，應送軍事法庭受審判！”大廳裏鴉雀無聲，一時間劉峙、孫連仲、王敬久、王仲廉、胡璉、邱清泉、孫元良等將領都麵麵相覷，誰都不敢動一動。還是蔣介石自己打破了沉寂的局麵，宣布命令：“我命令由王敬久、王仲廉兩集團軍並肩作戰，蟬聯進攻，以五十五師守鄆城，以六十三師之一五二旅占定陶，吸引劉鄧屯兵城下，以整三十二師、六十八師、七十師共十旅之眾，齊頭並進，消滅劉鄧部於黃河南岸，或逼其逃過河去！”於是王敬久、王仲廉連夜離開鄭州。在豫北和豫皖蘇戰場的蔣軍3個整編師和1個旅的人馬，在第二集團軍司令王敬久的統一指揮下，從東西兩個方向救援魯西南。
三、鏖戰魯西南打開南進通道
負責黃河河防的蔣軍整五十五、六十八師，雖蔣介石一再嚴令堅守，但在劉鄧大軍強大攻勢下，立刻土崩瓦解。整五十五師師長曹福林和該師兩個旅縮進了鄆城，六十八師主力放棄鄄城，和五十五師的一個旅一起逃向菏澤；來不及逃跑的蔣軍悉數被殲，計1000餘人。劉鄧大軍駐鄄城後，乘勝長驅直入，於7月1日進到菏澤城郊，該地以北已無蔣軍的蹤跡。
渡河後的第二天下午，劉鄧就召集各縱隊指揮員研究行動計劃和進一步政治動員。會議在一間不大的農村小學教室裏進行，鄧小平指著牆上掛的軍事地圖說：“現在敵人進攻的重點是山東和陝北。山東，敵人是60個旅、45萬人；陝北，15個旅、14萬人。正像劉伯承司令員所講：敵人是‘啞鈴戰略’，把兩個鐵錘放在山東和陝北，我們這裏剛好是個‘把’。現在黨中央和毛主席給我們的任務，就是砍斷這個‘把’，把戰爭引到國民黨統治區域裏。”說到這裏，劉伯承插話說：“山東按著敵人的腦袋，陝北按著兩條腿，我們攔腰砍去。”鄧小平接著說：“這一刀一定要砍好，一定要把刀尖插穿敵人的心髒。”為了使指戰員對挺進中原，躍進大別山思想上有所準備，劉鄧反複講明這方麵的情況。劉伯承說：“一年來敵我力量懸殊的情況，已經有了很大的改變，但是敵人的力量還是很大的。這就決定我們戰略進攻的方式不是逐城推進，而是跳躍式的。我們大膽地把敵人甩在後麵，長驅直入地躍進到敵人的深遠後方去，困難一定很多，對此我們在思想上要有充分準備。”鄧小平又接著說：“革命就是困難的事，要革命就不怕困難，挺進大別山是一個嚴重的鬥爭任務；但是，我們的行動絕不是冒險，而是一個勇敢的行動。因為我們是在全國各戰場大舉戰略進攻的形勢下，在全國人民、特別是解放區人民熱烈支援下來執行中央規定的戰略任務的。毛主席指出，我們到大別山可能有三個前途：一是付了代價站不住，退了回來；二是付了代價站不穩，在周圍堅持鬥爭；三是付了代價站穩了。我們要力爭第三個前途，克服一切困難，堅決為躍進大別山，並在那裏站穩腳跟而鬥爭。躍進大別山，解放中原，這是黨中央和毛主席的第一步棋，下一步棋就是以中原為陣地，再來一個躍進，打過長江，解放全中國。