1947年，蔣介石在其向解放區的全麵進攻失敗之後，將全麵進攻改為重點進攻。他調動胡宗南軍主力25萬人向陝甘寧解放區發起進攻，企圖殲滅我西北野戰軍並消滅中共中央領導機關。西北野戰軍為了創造戰機殲滅敵人，配合太嶽兵團出擊豫西，於8月6日圍攻長城要塞榆林。榆林是晉陝綏邊境的反革命重要據點，聚集了陝北、晉西的逃亡地主，西與寧夏馬鴻逵集團，南與延安胡宗南集團構成犄角之勢，北與傅作義集團相依，是陝綏的重要門戶。蔣介石深恐榆林丟失，寧夏孤立，影響西北整個戰區，命令胡宗南抽出10個半旅，共6300多人，迅速分路北上，以解榆林之圍。同時，敵人還想趁我軍主力攻榆林之際，尋找我黨中央和西北野戰軍主力決戰，企圖將我軍消滅於榆林、葭縣和米脂一帶，或將我軍趕到黃河以東的晉西山區。
我西北人民解放軍決定尋找機會，給敵人以打擊。當時，我劉鄧大軍，已轉入外線作戰，開始了對敵人進行戰略反攻的總形勢。我軍堅持內戰作戰的各個部隊，正在各戰區整訓待命，積極準備配合外線進攻的大好形勢，反動內線反攻。我西北人民解放軍發動攻勢的突破口選在何處，是由當時陝北敵軍的情況決定的。劉鄧大軍向中原挺進以後，胡宗南集團的整編第10師、整編第79師、騎兵第10個半旅增援陝北，使西北敵人兵力分散、戰線延長，後方空虛。這為我西北人民解放軍發動攻勢創造了條件。我軍如果在陝北選擇適當的地點，抓住戰機，殲滅敵人主力，必能對陝北乃至全國各戰場發生重大影響。沙家店就是這樣一種很適當的殲敵戰場。但沙家店緊靠黃河，西麵和北麵都是沙漠地區，回旋麵積小，糧食少，在此發動殲敵的戰鬥，是比較要冒風險的。
敵人希望我軍東渡黃河，我軍就利用敵人的這個心理特點，誘敵上當。我軍小部隊東渡黃河，而主力則隱蔽在沙家店一帶，等敵人送上門來。為了便於指揮沙家店的這次戰役，中央機關也向前線靠攏，來到離沙家店10公裏的梁家岔。這個地方隻有六七戶人家，幾百人的隊伍來到這裏，除了中央幾個領導人住進窯洞外，其他人隻能在露天過夜。剛安頓下來，不久通訊兵和西北野戰軍司令部聯係上，清脆的電話鈴聲響了起來。毛澤東拿起話筒就說：“我是毛澤東！”聽見這樣的答話，周圍的人先是吃了一驚，隨後才明白過來。原來，自從離開延安以後，毛澤東一直用代號李德勝，現在他不用代號，說明形勢大有改觀。話筒裏傳來了好消息：敵36師已經被包圍了。原來，當我西北野戰軍一小部分開始向黃河方向出動時，敵人用飛機和電台偵察我軍的行跡，發現我軍有東渡黃河的傾向，因而欣喜若狂。敵人認為我軍“敗走晉西，必定驚慌失措”，想趁我軍過河時打垮我西北野戰軍。胡宗南下定“迅速追擊，勿失此千載良機”的決心，急忙命令各路敵軍迅速追擊。
劉戡親自帶領整編的29軍由綏德北進，敵36師從榆林南下追趕我軍，敵人南北對進，企圖對我軍實行南北夾擊。但敵36師距離主力較遠，形成了孤軍冒進。我軍以一部分兵力阻擊第29軍等部，以6個旅集中於沙家店一帶，把敵36師包圍起來。
毛澤東給西北野戰軍司令部下令：“要堅決、徹底、幹淨、地消滅敵人，不讓一個敵人跑掉！”放下電話後，毛澤東與周恩來等人研究下一步的行動。這時，工作人員早在牆上、炕上、桌上安置好了地圖。電話機不時地發出清晰的鈴聲，毛澤東總是迅速地接聽前方戰場打來的電話。一發現有新情況，就和周恩來等一起伏在地圖中商量，做著標記，隨即發出指示。