在內戰初期，蔣介石依仗其優勢的兵力，對各解放區發動全麵進攻，但在各戰場上均遭到慘敗。他經過一番準備，於1947年3月起，由全麵進攻改為重點進攻。重點進攻的地區之一是山東地區。4月上旬，蔣介石糾集了5萬兵力，向山東解放區殺奔而來，想要把解放軍擠出魯南地區。
新泰、蒙陰、青駝寺以東地區，是魯中解放區的腹地，群眾條件好，民兵組織堅強，在蔣軍可能進攻的方向上已實行了徹底的空舍清野，並嚴密封鎖消息。該地區多為岩石山地，構築工事困難，但地形複雜，便於部隊隱蔽集結和穿插。
華野主力按軍委部署向萊蕪、新泰、蒙陰以東地區轉移後，敵軍果然乘機前行。敵人吸取過去失敗的教訓，不敢冒失前進，將部隊組成3個機動兵團，穩紮穩打，齊頭並進，尋找華東野戰軍決戰。他們轉遊了1個多月，找不到解放軍的一兵一卒，於是不費力氣就占領了解放區內的萊蕪、蒙陰、河陽等城鎮。這時，敵人一改“穩紮穩打”的方針，在敵第一兵團司令湯恩伯的指揮下，敵人4個整編師和1個軍，不等其他兵團統一行動，冒冒失失向北推行。其中推進最快的是整編74師，差不多進到了坦埠。
在國民黨軍隊中74師是很有名氣的，是國民黨軍隊的五大主力之一，受過美國軍事顧問的特種訓練，全部用美國武器裝備，戰鬥力比較強，被國民黨稱為“王牌軍”。國民黨吹噓說：“有10個74師就可以統一全國。”74師在國民黨軍隊中地位這麼重要，解放軍華東野戰軍指揮陳毅、粟裕決定，在粉碎敵人這次進犯中，要適時集中全力去消滅這個師。時間緊迫，華野由5個縱隊擔任圍攻任務。
5月11日，74師在向北進攻時，受到解放軍的阻擊。張靈甫發現解放軍各路大軍向自己壓來，不敢停留，迅速指揮部隊向後撤退。但解放軍緊緊地咬住不放，同時派出一支部隊迅速繞到74師後麵，插在它與25師中間。張靈甫知道，和其他部隊聯係切斷，會陷人被包圍的困境，因此在5月14日清晨指揮全師向南推進，企圖向25師靠攏。如果能突破臨蒙公路，就可以逃走。
解放軍前衛部隊2連接受了堵住74師去路的任務。經過一夜急行軍，2連搶占了公路南麵的285高地。74師趕到這裏時，2連火力已封鎖了公路。張靈甫指揮部隊發動了13次衝鋒，仍沒有成功。就在2連死守住山頭時，解放軍大部隊已壓了過來。張靈甫無路可走，隻得下令逃進孟良崮大山。
孟良崮群山連綿，溪流縱橫，72崮裝點其間，具有“引無數英雄競折腰”的奇觀。這裏也是古戰場，為兵家必爭之地。
南京方麵得到74師被圍的消息，大為吃驚。參謀長陳誠立即打電報給張靈甫，要他堅持3個小時，以等待援兵。接著，蔣介石親自飛到徐州督戰，下了死命令，要各路援軍在3小時內與74師會合。然而，解放軍已在各通道上布置了阻擊部隊，國民黨的增援部隊一個也不能接近孟良崮。張靈甫守了3天還是不見援兵的蹤影。解放軍一刻不停地進攻，迫使張靈甫的部隊壓縮起來，而且74師2萬多人的吃喝也成了問題，敵士兵們驚慌失措。