在中國正麵戰場，由於日軍在太平洋戰場連遭慘敗，便急欲在大陸打通一條交通線，即打通平漢線、奧漢線、湘掛線，從朝鮮的釜山經中國、越南、泰國、馬來西亞到新加坡，貫通全部鐵路。日本大本營幾經磋商，決定以中國派遣軍發動大攻勢，攻占平漢鐵路中段、奧漢鐵路中段及湘桂鐵路。
河南省屬第一戰區作戰範圍。平漢鐵路縱貫河南南北。鄭州北麵原有平漢鐵路黃河大鐵橋，為阻止日軍南渡黃河，1938年2月，中國軍隊將其炸毀。1938年6月9日，黃河花園口決堤，自此豫西、豫南中國軍隊北隔黃河、東隔新黃河泛區與日軍對峙。1941年10月，日軍華北方麵軍為策應駐武漢地區日軍第11集團軍進行第二次長沙作戰，南渡黃河，在鄭州西北郎山頭上的霸王城附近建立橋頭堡死守，中國軍隊未能將其拔除，以至遺患無窮，成為日軍1944年打通平漢線的重要出發地。
日軍華北方麵軍接受平漢作戰任務後，積極備戰，並充實鞏固了郊山頭橋頭堡。特別是日軍關東軍運來架橋材料，不惜一切代價搶修黃河鐵橋，黃河鐵橋中斷6年之後於1944年3月25日修複。
日軍華北方麵軍以第12集團軍（司令官內山英太郎中將）為平漢作戰的主力，考慮到第12集團軍司令部缺少指揮大規模進攻作戰的經驗，因此決定由方麵軍司令部親自指揮。
4月18日淩晨，東麵日軍第37師、獨立混成第7旅由中牟渡河，經河防部隊猛烈阻擊，至19日，突破第28集團軍暫編第15軍陣地後，分別向尉氏、清川、新鄭、鄭州等地突進，其主力指向密縣，與第28集團軍第85軍展開戰鬥。
19日晨，北麵日軍第12集團軍主力第62、第110師、獨立步兵第9旅，由黃河鐵橋跨過黃河，繼由鄧山頭向第85軍進攻，21日突破河防陣地，分別攻占廣武、汜水，22日攻占滎陽，並以一部協同由中牟西犯之敵會攻密縣。密縣守軍第85軍第23師從4月19～23日夜，血戰5晝夜，給日軍沉重打擊，爾後撤至密縣西南。
日軍第二線兵團（第27師、騎兵第4旅、坦克第3師）於4月20日夜開始通過黃河鐵橋，集結於黃河南岸。中美空軍多次轟炸黃河鐵橋，但未能將其摧毀。
4月26日起，中國第一戰區副司令長官湯恩伯率部向敵反攻。暫編第23旅襲占尉氏，第13、第29兩軍攻擊密縣日軍第110師，馬駒嶺失而複得。密縣是日軍向西迂回的重要屏障，日軍拚死抵抗，湯兵團久攻不下，乃以第13軍監視密縣。
4月28日，日軍開始第二階段作戰，主力由新鄭東西一線分途南下。5月1日，日軍攻占許昌，許昌守軍新29師師長公方良中將犧牲。同日上午8時30分，日軍第12集團軍下令主力立即由許昌附近西進（原計劃由許昌以南的邱城西進），圍殲中國第13軍；一部南下打通平漢線。日軍於5月8日打通了平漢線。
5月1日夜，日軍大舉西進。3日攻占禹縣、郊縣，4日攻占襄城、臨汝、大安，完成了對湯恩伯兵團的包圍，奉命在郊縣—臨汝。大安一線堵擊中國軍隊的日軍坦克第3師，企圖占領洛陽，5月4日下午，以師主力向洛陽以南的龍門進攻，致使日軍包圍圈出現漏洞，湯恩伯兵團乘機衝出重圍。
日軍坦克第3師進攻龍門，洛陽吃緊。蔣鼎文調兵遣將，鞏固龍門、洛陽，並令湯兵團的第13、第85軍配合尾擊夾擊敵人。
還在5月3日，蔣鼎文就命令第14軍以第94師守洛陽，主力在洛陽以南龍門-伊川一線布防。4日中午，蔣鼎文又命令第14軍（欠第94師）、第4軍（欠第47師），歸第14集團軍副總司令劉勘統一指揮（後稱劉勘兵團），阻敵北犯龍門。7日，蔣鼎文率長官部撤出洛陽，將洛陽守城任務交第15軍軍長武庭鱗指揮的第15軍第94師擔任。蔣介石鑒於湯恩伯兵團潰敗，擔心第1戰區徹底崩潰，於5月8日嚴令死守戰區中心洛陽10～15天。
為圍殲洛陽地區守軍，日軍華北方麵軍將第63師第67旅（5月上旬剛由北京趕到鄭州）、獨立步兵第9旅、第12集團軍野戰補充隊組成菊兵團，由第63師師長野副昌德指揮，由鄭州沿隴海鐵路西進，任務是穿插至洛陽以西，封鎖洛陽；以駐山西的日軍第1集團軍的12個步兵營為基幹組成天兵團，由第69師師長三浦忠次郎指揮，5月9日晚上由垣曲、白狼、河堤南渡黃河，繼而在新安以西切斷隴海鐵路。5月13日，洛陽守軍陷於重圍。
洛陽城防戰鬥始於5月9日，第15軍和第14軍第94師殊死血戰，予日軍重大殺傷。5月24日晨，日軍空投勸降書，廣播喊話，限守軍於5月24日中午12時投降，否則立即攻城。守軍抱定死戰決心，不加理睬。5月24日中午12時，日軍開始總攻。
日軍飛機27架、大炮100餘門，首先向洛陽老城狂轟亂炸，環城工事均被摧毀，兵員武器大部分同歸於盡。下午3時，日軍坦克40餘輛由東北、西北城角突入。至下午5時，侵入日軍萬餘人，坦克50餘輛，驅馳街巷，無法遏止，守軍指揮聯絡全部隔斷，全城陷入混戰。黃昏後，武庭徽以彈盡糧絕，無力再戰，不得已作緊急處置，命令各部隊取捷徑奪路突圍。晚上，守軍由洛陽東南角突出重圍。守城期間，軍官傷亡530人，士兵傷亡1.3萬餘人。
洛陽守軍孤軍奮戰16晝夜，牽製日軍大量兵力，為戰區其他部隊後撤創造了條件。
第1戰區第4、第36、第39集團軍、劉勘兵團，5月18日由澠池以南小鎮翟涯向豫西伏牛山區後撤時，第36集團軍總司令李家鈺主動率本部人馬斷後，21日遭日軍伏擊，李家鈺當場陣亡。
日軍攻占洛陽後，平漢作戰大體結束。5月28日，解散菊兵團，第63師部隊返回北京。5月底～6月初，日軍中國派遣軍命令第37師、坦克第3師趕赴武漢地區，參加正在進行的湘桂作戰。