自9月10日戰鬥打響，短短的十餘天時間，太行、太嶽、冀南縱隊已經攻占了屯留、潞城、長子、壺關等五座縣城，掃清了長治外圍據點，殲敵7000餘人，切斷了長治與太原、平遙的聯係，將閻軍史澤波部萬餘人團團包圍於長治一隅。
9月27日，劉伯承、鄧小平發布《晉冀魯豫軍區作戰字第六號命令》，決定對長治發起總攻。
長治為上黨地區的首府，原是日軍的一個重點設防城市，城牆高約三丈，城外壕溝縱橫，碉堡林立，工事堅固，加之連日大雨，道路泥濘，部隊運動困難。開戰以來連續五易指揮位置，足跡遍及長治四周的劉伯承、鄧小平據情決定，由東、南、西三麵攻城，虛留北關，誘敵突圍，於野戰中殲滅之。
一切按照預想順利展開，長治守敵已成甕中之鱉，突然，情況發生了變化。閻錫山派出的援兵氣勢洶洶地壓了過來。
敵變我變，劉鄧當即變更部署，改攻城為圍城打援，於9月28日頒發《晉冀魯豫軍區作戰字第七號命令》，決以佯攻長治、圍城打援之方針，在援敵進至常隆、上村鎮一帶時，堅決於野戰中將其殲滅，並同時消滅可能自長治出城接應或突圍之敵軍。
雨夜，太行縱隊全部和太嶽縱隊主力，悄悄撤離長治，兼程北上伏擊援敵。留下的冀南縱隊、太嶽縱隊一部及地方兵團偽裝主力，為吸引援敵繼續南下，把圍攻長治的戰鬥打得熱火朝天。
然而，已經將指揮位置前移到黃輾鎮的劉伯承發現原先的情報不確，敵援軍不是3個師7000餘人，而是國民黨第七集團軍副司令彭毓斌率第二十三軍、第八十三軍及省防軍等8個師、2個重炮團，共20000餘人。劉鄧再一次調整部署，急調圍長治的冀南縱隊立即北上，投入打援。為避免敵人作困獸之鬥，又決定采取圍三闕一的戰術，攻占老爺山和磨盤腦，而在北麵虛留一個缺口，以便將敵人調動，於運動中殲滅之。
10月5日，太嶽縱隊不惜一切代價攻占老爺山，太行縱隊也如期控製了磨盤腦。敵人果然軍心動搖，於夜間向北突圍。先敵搶占廄亭以北土落村的迂回部隊正好堵住敵人，而主力部隊則沿屯公路及其兩側進行跟蹤與平行追擊，猛烈穿插，使敵潰不成軍，四處逃竄，紛紛繳械投降。戰至6日黃昏，敵除2000人逃回沁縣外，其餘全部被殲，一路揚言“上黨必爭，長治必保”的敵副總司令彭毓斌被擊斃，數十名高級軍官束手就擒。
援軍被殲，長治守敵驚慌失措，徹底無望，於10月8日棄城突圍。一出城才知道，他們已經陷入了人民戰爭的大海汪洋。後麵，是圍城部隊的跟蹤追擊，前麵是剛剛殲滅了援軍的勝利之師的勇猛堵截，而兩翼則是地方兵團和民兵武裝的奮力兜擊。
“拚命抓住敵人！”劉鄧一聲令下，四麵八方的部隊潮水一般將敵包圍於沁河以東的將軍嶺及桃川地區殲滅，蔣介石為“摘桃子”伸過來的第一隻爪子——國民黨第八集團副總司令兼第十九軍軍長史澤波被生擒。
至此，上黨戰役勝利結束。晉冀魯豫軍區部隊以傷亡4000人的代價，殲滅敵13個師及1個挺進縱隊共3．5萬餘人，繳獲山炮24門，輕重機槍2000餘挺，長短槍1．6萬餘支。
上黨的砝碼重重地壓在重慶的談判桌上，加強了中共在重慶談判中的地位。蔣介石聞訊，如同挨了一記悶棍，心中十分惱火。為了對付輿論的譴責，他欲蓋彌彰，將責任全部推卸到閻錫山的身上：“這是閻錫山自己作主幹的事，中央並不知道。”
毛澤東得知消息，幽了蔣介石一默：“太行山、太嶽山、中條山中間，有一個腳盆，就是上黨區。在那個腳盆裏，有魚有肉，閻錫山派了十三個師去搶。我們的方針也是老早定了的，這就是針鋒相對，寸土必爭。這一回，我們‘對’了，‘爭’了，而且‘對’得很好，‘爭’得很好。就是說，把他們的十三個師全部消滅。他們進攻的軍隊三萬八千人，我們出動三萬一千人。他們的三萬八千被消滅了三萬五千，逃掉兩千，散掉一千。這樣的仗，還要打下去。”
戰場上的失敗迫使蔣介石不得不稍微收斂了一下囂張氣焰，重新回到談判桌上。他意識到，如果繼續施加高壓，更無法使中共屈服，而這次舉世矚目的談判一旦破裂，他將無法向國內外交待，於是不得已決定暫時放棄“政治與軍事應整個解決”的既定方針，改為首先解決政治問題。
10月6日，也就是彭毓斌兩萬多援軍在上黨全軍覆沒的那一天，蔣介石派人到紅岩村與周恩來聯絡，希望盡快在協定上簽字。
10月10日，具有曆史意義的《國共雙方代表會談紀要》，亦即曆史文獻中稱之為“雙十協定”的簽字儀式，在重慶曾家岩的桂園正式舉行。
次日，蔣介石與毛澤東在山洞林園握別。
10月13日，蔣介石又向國民黨各戰區發出密令：
查抗戰勝利，日寇投降，亟應從速建設以完成大業，乃奸匪竟乘機侵入城市，破壞交通，企圖破壞統一以遂其割據之陰謀，若不速予剿除，不僅八年抗戰前功盡棄，且必貽害無窮，使中華民族複興無望，我輩將士何以對危難之同胞，更何以對陣亡之將士？貴長官所部自抗戰以還，迭著勳功，黨國依為長城，中正尤寄厚望。此次剿共為人民幸福之所係，務本以往抗戰之精神，遵照中正所訂剿共手本，督勵所屬，努力進剿，迅速完成任務，其功於國家者，必得膺賞，其遲滯貽誤者當必執法以罪，希轉飭所屬剿共部隊官兵一體悉遵為要。