1897年4月28日生於中國廣東省梅縣雁洋堡下虎村一個小商人家庭。原名葉宜偉，字滄白。1902年入鍾傲泉私塾讀書，後進古玉泉私塾讀書。1908年就學於丙村鎮三堡學堂。1912年就學於梅縣東山中學。1916年在梅縣橫山新群小學教書。後隨父赴南洋謀生，到達馬來西亞的怡堡。1917年夏回國，入雲南陸軍講武堂學習。畢業後前往福建漳州，追隨孫中山從事民主革命，加入“援閩”粵軍。1920年8月參加粵軍回粵驅逐桂係軍閥之役。不久，任廣東東路討賊軍司令部參謀。1921年10月，隨中華民國非常大總統孫中山出巡廣西，後任江防艦隊海軍陸戰隊營長。1922年夏，當投機革命的廣東軍閥陳炯明發動武裝叛亂時，葉劍英率部參加護衛孫中山、反擊叛軍的作戰。10月，前往福建，任東路討賊軍第八旅參謀長。1924年春，任建國粵軍第二師參謀長，應廖仲愷之邀，參與籌辦黃埔軍校，任教授部副主任。1925年2月，陳炯明叛軍再次來犯，奉調回第二師參與組織指揮作戰，保衛廣州，參加第一次東征。
10月，參加第二次東征，同月參加平定廣州商團叛亂。先後兼任第二師獨立營營長和新編團團長，設營於香州，配合黃埔軍校培訓軍士。1926年任國民革命軍第一軍總預備隊指揮部參謀長，參加北伐。攻克南昌後任新編第二師師長。1927年4月蔣介石發動反革命政變後，毅然通電反蔣，從吉安赴武漢，任國民革命軍第二方麵軍第四軍參謀長。同年7月，加入中國共產黨。南昌起義前，在九江得知汪精衛陰謀加害葉挺、賀龍的消息，立即告知葉、賀，並商定對策，挫敗了汪精衛的陰謀。南昌起義後，勸說第二方麵軍總指揮張發奎放棄尾追撤出南昌的起義軍。後兼任第四軍教導團團長，率部南下，進入廣州，任中共廣東省軍委委員。根據中共廣東省委的指示，積極擴充教導團、警衛團等革命武裝，為起義創造條件。12月11日，參與領導廣州起義，任工農紅軍副總指揮。1928年冬，赴蘇聯莫斯科，入中國勞動者共產主義大學學習。1930年回國，到達上海。1931年初，進入中央蘇區，曆任中華蘇維埃共和國中央革命軍事委員會委員兼總參謀部部長、中國工農紅軍第一方麵軍參謀長、中國工農紅軍學校校長、瑞金衛戍司令員、閩贛軍區及福建軍區司令員，參與反“圍剿”作戰的指揮。1934年，被選為中華蘇維埃共和國中央執行委員。紅軍長征前，任軍委第四局局長。10月，任軍委第一縱隊司令員兼政委，參加長征。11月，在西延、龍勝山區敵機的一次空襲中負傷。12月，任中央縱隊副司令員兼軍委第一局局長。第一、第四方麵軍會合後，任紅軍前敵總指揮部參謀長。與張國燾企圖分裂和危害黨中央的陰謀作了堅決鬥爭，保證了第一方麵軍主力勝利北上。到達陝北後，任西北革命軍事委員會參謀長兼第一方麵軍參謀長。1936年2月，協助毛澤東、彭德懷指揮東征戰役。同年7月起，到安塞、西安等地，聯絡東北軍、西北軍中的愛國力量，開展抗日民族統一戰線工作。12月，任中央革命軍事委員會副總參謀長。西安事變發生後，協助中共全權代表周恩來做了大量工作，推動事變的和平解決。
1937年抗日戰爭全麵爆發後，與周恩來、朱德一起，作為中國共產黨和紅軍的代表，到南京參加國防會議。8月，紅軍改編為國民革命軍第八路軍後，任八路軍參謀長。同年底到達武漢，任中共中央長江局委員，在武漢、長沙、桂林等地，進行抗日民族統一戰線工作。1939年1月，任中共中央南方局常務委員。2月，協助國民政府軍事委員會創辦南嶽遊擊幹部訓練班，任副教育長，講授遊擊戰戰略戰術，宣傳持久戰思想。1940年3月，出席蔣介石召開的全國參謀長會議，發表《對日作戰與摩擦問題》的講話，駁斥了國民黨頑固派的反共言論。同月，出版《葉劍英抗戰言論集》。1941年2月，從重慶返回延安，任中共中央革命軍事委員會參謀長，協助毛澤東、朱德等指揮作戰。11月，兼任軍事教育委員會委員和軍事學院副院長。1945年，在延安多次接見中外記者參觀團和美軍觀察組，介紹八路軍、新四軍抗戰情況和戰績，擴大中國敵後抗戰在世界上的影響。1945年6月，被選為中共第七屆中央委員。