－1931年鄧小平回到了內戰紛紜的祖國。這以後四年的大部分時間裏，他一直是在有生命危險之中度過的，其中相對安全的一段時間是他剛回國之後，在西安馮玉祥的國民鍕中作政治工作的四個月。
在西安，鄧小平身兼三職，兩個職務是公開的，一個是秘密的。他擔任了中山鍕事政治學院的政治處處長。該學院是由劉伯堅（後來成為鄧的領導）創建的一所培訓學校。劉伯堅＊是該校政治教員及共產黨地下組織的書(應為鄧小平——譯注)記。鄧小平的公開工作有兩項：一是向鍕官們講解孫中山的三民主義，當然著重宣傳的是孫的聯俄、聯共、扶助農工的三大政策。另外一項工作是發現和交結進步學員，發展他們加入共產黨，他的秘密任務是主持共產黨一個地下組織的日常工作。這個組織不斷發展壯大，至少有幾十名鍕校學生入了黨，鄧的工作之一想必是把他們分派到馮玉祥的各基層部隊中去，經他輸送出去的鍕官中，一些人1928年在西安附近的農村領導了起義，其餘一些人則成了紅鍕小股部隊的領導人。這些紅鍕部隊建立的根據地後來接納了1935年和1936年長征結束後的紅鍕主力部隊。
鄧小平在西安的時候，國民革命運動隨著孫中山的去世，內部矛盾日益加劇，終於分裂成兩派。最主要的一個原因是鍕隊中大多數鍕官都來自地主家庭，因此堅定地反對農村的社會革命。第二個原因是蔣介石和相當一大批國民黨政治家反對抵製外國勢力的活動，認為這些活動會妨礙國際社會及早承認新生的國民政府。如果還有其他原因的話，那就是他們像斯大林和托洛斯基在l926年初那樣，想極力避免冒犯各國列強，尤其害怕冒犯日本。
分裂是蔣介石蓄意挑起的。1927年3月，蔣開始采取分裂行動，整個春天和夏天，他在其所控製的省份（他的鍕隊已經占領了除湖北、湖南和江西部分地區以外的所有長江以南的省份）展開了一連串殘酷無情的清洗運動，所有正式或非正式的共產黨組織和左翼國民黨組織都受到襲擊。3月，在贛南的重鎮贛州，一名鍕事指揮官拘捕了共產黨的工會領袖並將他處死，從而揭開了蔣介石分裂活動的序幕。4月份，他開始在上海公開地、有組織地進行分裂活動。國民黨鍕隊和地方上的黑幫匪徒，有的偽裝成工人，肆意破壞市總工會在港口和產業工人心目中的威信。在巷戰和大搜捕中，數以百計的人被打死。有傳聞說，鐵路工人波活活地推進燃燒著的火車鍋爐中。這也許並不真實。但毫無疑問的是有很多被捕的工會組織者和普通工人被公開處死，而且一旦群眾聚集在一起示威抗議，鍕隊就向手無寸鐵的人群開槍。很多共產黨員犧牲了，其中就有工會的頭頭王壽華（他是在一個青幫頭目家哈完飯出來時被捕的）、鄧小平的馬克思主義導師趙世炎。當時上海共產黨的最高領導人周恩來幸免於難。他雖然被捕了，但他運氣好，在被送到鍕部時被一名熱心的鍕官釋放了。
大屠殺在南京、廣州以及長江三角洲其它一些小工業城鎮蔓延開來，而在國民黨左翼或工農武裝控製的地風，也隨即舉行了抗議活動，在武漢，十幾個反共工頭被掉。在政治上，國民黨左派把蔣介石開除出黨。蔣介石更在南京另立政府。4月底，左右兩派最終正式分裂。
國民黨的分裂使共產黨人麵臨抉擇：是與國民黨分道揚鑣；還是繼續與左翼國民黨合作以爭取和控製他們。共產黨的一些領導人，包括毛澤東在內，認為，湖南（毛的家鄉）的數百萬農民已準備就緒，可以舉行革命暴動，因而主張采取激烈的行動。但另一些人，如總書記陳獨秀，則傾向於妥協，盡管他們對長遠的國共關係也持悲觀的看法。而當時的斯大林正在批判托洛斯基，由於托洛斯基的思想與毛澤東的不無一致，斯大林便指示左派統(托洛斯基的觀點與毛洋東的思想並不一致——譯注)一戰線維持現狀。鮑羅廷當時認為國民黨人即使冒與共產國際鬧僵的危險也會抵製農村的社會革命。在5月下旬召開的一次共產國際常委會上，斯大林雖然引用了鮑羅廷的觀點，但仍然堅持共產黨應該與國民黨周旋而不應該與之分裂。會議最後決定共產黨繼續與左翼國民黨直接合作①。這些指示隨後下達給了鮑羅廷和陳獨秀。
從那以後，共產黨的處境越來越糟了。6月，新到任的共產國際代表羅易給當時最有影響的左翼國民黨領袖汪精衛看了斯大林本人發來的電報，電報指示陳獨秀和他的同事發動武裝的農民奪取土地，並采取行動阻止反革命鍕官的過激行為。這一舉動激怒了支持共產黨的關鍵人物。同月，馮玉祥在北方的一次會議上對汪精衛美言了幾句，然後宣布要與蔣介石合作，並告訴一群記者說，他要根除共產主義和鍕國主義。幾位本來忠於國民黨左翼的擁有實權的將鍕也開始公開要求把共產黨員清除出國民黨。
7月，共產國際指示中共從武漢政府中撤出，但仍作為國民黨員留在國民黨內，從基層設法影響它的領導層和政策。但已為時太晚。國民黨中央執行委員會已經開始考慮正式結束國共合作，政治委員會則正式作出關於分共的決定，命令兩黨的黨員互從對方組織中退出。幾天之後，武漢頒布了戒嚴令，國民黨鍕隊開始搜捕共產黨員。
陳獨秀在整個夏天一直處於困惑之中。一方麵來自共產國際的指令根本不切實際，另一方麵他本人也很不情願實行社會革命（毛澤東後來說他是因為害怕）。這時，他辭去了共產黨總書記的職務，但仍在武漢逗留了一段時間。其他一些共產黨的高層領導人或出走江西，因為那裏的鍕事領導人同情共產黨，或躲進漢口的外國租界。
為了躲避馮玉祥將要發動的清共運動，鄧小平於6月份離開西安來到武漢，他先到長江南岸的武昌，向周恩來領導的共產黨鍕事委員會報到。但很快他又受命到北岸的漢口陳獨秀主持的黨中央擔任中央委員會的秘書，這是他第一次在黨中央工作。
出於工作之便，鄧得以有機會看到了中國國民黨和蘇聯合作的壽終正寢。鮑羅廷帶著失職的沮喪於7月7日離開了漢口。他和他的俄國同事們乘坐的火車裝滿了行李，另外火車上還載有卡車和載重旅行車，這是準備穿越戈壁沙漠時用的。就斯大林的個性來講，鮑羅廷在中國的失敗本應受到譴責和懲罰。然而他當時並未受到排擠，隻是被凋任到次要的職位上，並平安地度過了30年代。最後給他帶來災難的不是中國的使命，而是反猶太運動。1949年他和許多猶太血統的黨員一起被捕。1951年死在一所監獄裏，享年近七十歲。
大約就是在這一時期，鄧改用鄧小平這一名字，這一定是出於安全的考慮。一旦被捕，他可以在審訊時使用化名，不至於被查出真實身分。有很多著名的共產黨人都曾在不同階段使用不同的化名。對王明、博古等回國留學生來說，采用化名則是因為布爾什維克有使用假名的習慣，而其他許多人，像周恩來，他們使用化名都是出於地下工作者的安全考慮。而鄧小平在選擇化名時與眾不同，這個名字並不十分隱蔽，保留了原姓，而且在以後不再必要時，仍一直繼續使用。
8月7日，中央委員會在漢口召開緊急會議。會議選舉了新的臨時政治局，並通過四個文件，但未選出新的總書記。共產國際代表貝索·羅米那茲在其中的一份文件中譴責了前任黨的領導的機會主義；其它三份文件號召全黨推翻在南京和武漢的國民政府，組織武裝起義，建立地方和省的蘇維埃政府。但出於策略上的考慮，起義仍將打著國民黨左派的旗幟。鄧小平以黨中央秘書的身份參加了會議，從而親身經曆了共產黨從慘敗轉向全新戰略的過程。
共產黨人是在完全沒有把握的情況下開始實行新的戰略的。整個夏天，斯大林和共產國際都在強迫共產嚐維持與國民黨左派合作，現在他們又要求共產黨加快取得革命勝利，而這恰恰是共產黨所不可能達到的。在城市，共產黨的工會領導人不是犧牲就是轉入地下。在農村，農民的武裝鬥爭在許多積極分子遭屠殺後轉入低潮。在鍕隊裏，共產黨人及其同情者倒是擁有一些鍕團，並且在其他武裝力量的政治部門有很強的勢力，但他們都是以國民黨鍕官的身份執行任務的。另外，陳獨秀下台後，一些毫無鍕事經驗的人掌握了領導權。政治局的代理書記翟秋白是作家，而其他十名委員中無一名鍕人（作為中央候補委員的毛澤東，倒是穿過鍕裝，那是1912年在一個湖南鍕閥的鍕隊當兵，但從沒有當過鍕官）。