1927年“四·一二”反革命政變後，蔣介石在南京建立了他的中央政權，從此開始了中國曆史上國民黨政府的統治時期。這個時期的陝西政局也處在一種嚴重的動蕩之中。
潘自力參與發動的渭華起義失敗後，陝西地方當局實行大屠殺，白色恐怖籠罩三秦大地，黨內的悲觀失望和複仇蠻幹情緒交織在一起。年僅24歲的潘自力肩負著沉重的擔子，但他不悲觀，不急躁，謙虛謹慎，團結同誌，領導黨員、團員和幹部在嚴酷的環境中堅持鬥爭，贏得了同誌們的信賴。1928年6月13日召開的中共陝西省委第三次擴大會議，繼續選舉潘自力為省委常委、書記。同年11月，潘自力出席中共長安縣委常委緊急會議時不幸被捕入獄，經過近兩年的關押，在組織的營救下他才得以出獄。
1930年9月，蔣介石委派年僅37歲的楊虎城為陝西省主席。楊虎城主政陝西後，希望組織一個開明進步的省政府。久經戰亂的陝西，經濟和社會一片凋零，急待振興，楊虎城認為振興經濟應從大力興辦教育事業入手，他強調：“陝西僻處西北，文化落後，無論如何，須派人到外地及國外留學，造就專門知識。”從這年起，楊虎城大批選派進步青年到外地學習，資助有誌青年到國外留學，其中去日本的有王炳南（後又去德國），去德國的有郭則沉等。潘自力得到楊虎城的資助，於1931年4月赴法國留學。在法國期間，他加入了法國反帝同盟中國支部，從事革命活動，後轉赴蘇聯短期參觀學習。
1933年5月，潘自力從法國回到上海，8月初回到自己的家鄉陝西。此時，由於楊虎城與蔣介石關係緊張，國民政府任命原甘肅省主席邵力子主政陝西，楊虎城除繼續擔任西安綏靖公署主任外，軍權已被大大削弱。蔣介石除在蘇區“圍剿”紅軍外，在全國各地到處逮捕共產黨人，邵力子、楊虎城雖然比較傾向進步，但在蔣介石“剿共第一”政策指導和國民黨特務的監視下，也沒有能夠例外。中共陝西省委機關遭到嚴重破壞，不少共產黨員被捕。
11月初，劉誌丹、謝子長等按照中共陝西省委指示回到陝北，進行兵運和開辟根據地工作。受黨組織的派遣，潘自力從臨潼秘密到達西安，準備麵見楊虎城。楊虎城知道潘自力來到西安的消息後，考慮到當時陝西的局勢，便介紹潘自力到新疆盛世才處，潘自力沒有同意。1934年7月中旬，中共上海中央局決定派潘自力去川北紅4方麵軍工作。在組織的安排下，潘自力於1935年1月到了川北旺蒼壩，進入川陝革命根據地，先在紅三十一軍政治部、紅四方麵軍總政治部任幹事，後隨紅四方麵軍進行長征，勝利到達陝北革命根據地。