參與領導盧順起義後，1927年7月11日，劉伯承經陝西、河南，輾轉來到武漢，並臨時下榻在漢口大智門國民黨四川省黨部辦事處。聽說劉伯承抵達武漢，大智門國民黨四川省黨部辦事處立刻變得熱鬧起來，車水馬龍，賓來客往。其中有川軍的袍澤故舊，有武漢的黨政軍要人；有左派，也有右派；有共產黨人，也有蔣介石、汪精衛的說客。據7月12日武漢《民國日報》報道：“劉氏為川中革命軍事領袖，此來對於川省今後軍事，必有偉大之計劃。劉抵漢後，各地同誌赴寓所慰問者，絡繹不絕，劉身禦藍布長衫，態度和藹可親。聞劉氏擬於日內親向中央報告死守瀘州經過及出川情形，並聞劉氏對於川事，亦將向中央有所建議雲。”這裏所說的“中央”，係指武漢國民黨中央黨部和武漢國民政府。
劉伯承向“中央”彙報後，隻得到“軍委會”一番空洞的“嘉獎”。回想起，來漢沿途中，親眼目睹英、美軍艦兵列長江沿岸，對武漢政府施加強大壓力；蔣介石與馮玉祥在徐州會晤後，寧漢合流的趨勢一天比一天明顯。他感到武漢的情況也越來越不對頭。汪精衛主張“分共”，第三十五軍軍長何鍵將在武漢捕殺共產黨的風聲，越來越緊。眼看血雨腥風就要降臨武漢城頭。兼有國民黨黨籍和共產黨黨籍的跨黨分子，都麵臨著一種抉擇：向左還是向右？是繼續堅持革命，還是與蔣介石、汪精衛同流合汙？留在共產黨內，還是留在國民黨內？劉伯承密切注視著局勢的發展，思考著自己應走的道路。
為求得對局勢的透徹了解，劉伯承偕參謀長韓百誠去拜訪吳玉章。吳玉章當時是武漢國民政府5人行動委員會委員之一。在國民政府的辦公室，劉伯承與自己的入黨介紹人促膝長談。吳玉章告訴他，根據共產國際的指示，撤銷了陳獨秀的總書記職務，改組了中央領導，指定張國燾、周恩來、李維漢、張太雷、李立三等5人組成臨時中央常務委員會，領導今後的鬥爭。至於國民黨內，雖然宋慶齡等左派力主遵行中山先生的三大政策，但在帝國主義及其走狗蔣介石的威脅利誘下，武漢方麵的右翼軍人殺機漸露，汪精衛集團的叛變恐怕為期不遠，要做好應變的準備。
實際上，這個時候，黨中央也一直關注著四川的革命鬥爭。中共中央軍事部部長周恩來得知劉伯承已到武漢，即召集他和吳玉章、黃慕顏、李嘉仲等座談，聽取他們對時局的看法和意見。
7月15日，傳來了武漢國民黨秘密召開“分共”會議的消息，兼有共產黨黨籍的吳玉章等國民黨中央委員均被排斥，不得參加。在汪精衛主持下通過了“分共”的決議案。至此，國共兩黨的第一次合作，便以蔣介石和汪精衛為代表的國民黨右派的叛變而告結束。
劉伯承心中有底，遇變不驚。他閉門謝客，深居簡出，聽候黨的召喚。
他的公開身份是武漢政府委任的暫編第十五軍軍長，安全是不成問題的。這期間，有人勸他回川，與四川軍閥合作，將來或可跨州連郡，雄踞一方；汪蔣派來的說客，各為其主拉他入夥，說憑他的軍事才幹，高官厚祿真如探囊取物。對於這些來客，劉伯承虛與委蛇，以久戰之後，身體疲憊，急需休養為由，一一謝絕了。
而在這時候，黨中央決定發動南昌起義。周恩來臨危受命，負責組織領導起義籌備工作，急需一個軍事上的得力助手。這個人既要有秘密組織大規模兵暴的經驗，又要有豐富的作戰指揮經驗。周恩來反複考慮，選中了劉伯承。
劉伯承堅決聽從共產黨的指示，接受了黨的任務，迅速乘江輪前往九江，參與擘畫南昌起義。為了迷惑國民黨右派，掩護南昌起義的籌備工作，劉伯承特別在武漢《國民日報》發表消息如下：“暫編第十五軍軍長劉伯承、副軍長黃慕顏，先後來漢向中央陳述與川中反動軍閥奮鬥情形，極為中央嘉獎。近劉軍長因病，特向軍事委員會請假調養，其職務交黃副軍長代理，已蒙軍委批準。”
劉伯承到達九江後，首先與吳玉章取得聯係。當時在九江的吳玉章，主持國民黨中央辦事處，以接應前往南昌的中共的重要幹部和國民黨左派人士。劉伯承到九江，就住在吳玉章處。
對於劉伯承的到來，吳玉章是非常高興的。他想到一年多以前他和楊闇公介紹劉伯承入黨，為黨延攬了這樣一位不可多得的將才，心中暗暗地感到欣慰。
到7月底，隨著周恩來、賀龍、葉挺、朱德、劉伯承，以及李立三、惲代英、彭湃、林伯渠、吳玉章等先後進抵南昌，起義的發動已經箭在弦上了。