潘自力的家鄉在陝西省華縣高塘鎮棗園村，他出生於一個較為富裕的農民家庭，幼時在家鄉讀書，曾經到陝西督軍陳樹藩部當兵，返鄉考入鹹林中學繼續就讀。學習期間，潘自力在校內教師共產黨員魏野疇、王複生等人的啟發影響下，積極閱讀革命書刊，帶頭參加愛國運動，在學生中影響很大。
1923年夏，潘自力來到北京，他感受到了一片廣闊天地。剛剛經過五四運動的北京，民主的空氣很濃，思想十分活躍，各種團體和學術派別林立。在北京的陝西學生中主要有兩派，一派是進步學生組織的共進社，出版刊物《共進》；另一派是進化社，出版刊物《進化》。在當時的政治背景下，這兩派都在爭取群眾，鬥爭十分激烈。共進社的前身是“陝西旅京學生聯合會”，潘自力經楊鍾健介紹加入了共進社，暑假中又經劉天章、王複生介紹加入中國共產主義青年團。在北京期間，他一麵複習功課準備報考北京大學，一麵積極參加共進社的社務工作，成為總社的領導人和編輯部的編輯，社刊上發表了許多進步文章，鋒芒直指北洋軍閥在陝反動當局的罪惡活動，產生了相當大的社會影響。共青團北京地委在給團中央的報告中說，“潘自力篤信主義，才堪重用”，對其在此間的政治思想和工作能力給予了中肯的評價。
1925年7月，潘自力奉正在組建中共豫陝區委的王若飛之命回陝西工作，頻繁來往於西安、三原、渭南等地，對於西安、三原等地共青團組織的發展作出了重要貢獻，還在他就讀過的鹹林中學組織了共進社的地方團體。
1925年孫中山逝世後，蘇聯政府為紀念這位偉大的中國革命先行者，繼續支持中國革命，征得中國國共兩黨同意，創辦了莫斯科中山大學。共青團中央通知各地團組織選送“革命意誌確立，不迷信個人自由，能受團體拘束，懂得赴莫斯科學習是學習革命”的團員前往中山大學學習。經陝西共青團地方組織審查，團中央批準，潘自力作為第二批學員，於同年10月被派往莫斯科中山大學學習，這批人大部分是共產黨員和共青團員，同行的有王稼祥、張聞天、烏蘭夫、伍修權等。
中山大學位於莫斯科沃爾洪卡大街16號，莫斯科河沿著大街左側靜靜地流淌。學校麵對大街，對麵是一個大廣場，還有一座金碧輝煌的東正教大教堂，不遠處有一所美麗的公園，屹立著俄國著名詩人普希金的銅像。學校環境優美寧靜，是一個理想的學習場所。潘自力在這裏刻苦學習，進步很快，1926年1月在中山大學轉為中國共產黨黨員。
潘自力在莫斯科學習期間，正是動蕩不定的中國政局發生巨大變化的關鍵時刻。南方的北伐戰爭接連勝利，實力雄厚的吳佩孚主力被基本消滅，給予了北方的馮玉祥以很大影響。在革命浪潮的推動下，馮玉祥欣然接受中國共產黨的建議，決定從北方策應廣州政府之北伐。1926年9月17日，馮玉祥發起成立國民軍聯軍，自任總司令，並舉行了曆史上有名的五原誓師。國民聯軍成立後，兵分兩路，一路由寧夏、甘肅東進，一路由榆林南下入陝，以打通出兵潼關、進軍中原的路線。
國民軍聯軍入陝，有力地推動了陝西革命形勢的發展。中共黨組織發展迅速，1927年1月28日成立了中共陝甘區委。正在此時，潘自力學完歸國，根據黨組織的安排，到國民軍聯軍管轄的陝西工作。5月初他抵達西安後，先任中共陝甘區委直屬的西安第一部委宣傳部長兼公開的長安縣農民協會宣傳部部長，參與領導西安市西南郊區和長安縣的農民運動，6月當選為共青團陝甘區委書記兼宣傳部長。
在陝甘區委的領導下，潘自力積極參與開展群眾運動，促使這個時期的陝西革命群眾運動蓬勃發展，各個革命階級、階層都被卷入，特別是在紅五月紀念活動中，到處洋溢著高漲的革命氣氛。在中共陝甘區委推動下，國民黨陝西省黨部、西安市黨部等共同發起紀念紅五月活動，5月5日，西安各界在連花池廣場聯合召開“五一”、“五五”紀念大會，主席台上懸掛著馬克思、列寧、孫中山畫像，標語彩旗光耀奪目，台上台下氣氛熱烈，“農工組織起來”、“打倒帝國主義”、“打倒封建軍閥”的口號聲不絕於耳。會後還舉行了大遊行，潘自力看到，遊行群眾精神抖擻，一路步伐整齊，充分顯示了陝甘黨組織廣泛發動群眾的強大威力。