建築商人其實隻是阿拉法特一個掩護身份的職業，他真正的目的是要籌建巴勒斯坦獨立組織。1959年10月10日，阿拉法特與“自由巴勒斯坦公司”的骨幹分子在科威特秘密召開會議，正式成立“巴勒斯坦民族解放運動”，阿拉法特決定以“法塔赫”命名新組織，而“法塔赫”在《古蘭經》裏的意思是“打開勝利之門”。為宣傳組織的政治思想和主張，他們還創辦了名為《我們的巴勒斯坦》的組織刊物，號召巴勒斯坦人民團結起來依靠自己的力量為民族獨立而鬥爭。為擴大法塔赫的影響，阿拉法特經常化裝成一名醫生，深入難民之中，秘密聯係廣大難民。1963年，阿拉法特被迫關閉已經有相當規模的“自由巴勒斯坦建築公司”，專門從事政治鬥爭。2月，由10名成員組成的法塔赫第一屆中央委員會秘密成立，阿拉法特認為采取軍事行動是解放巴勒斯坦的唯一途徑。1964年他離開科威特，從約旦組織武裝分子進入以色列，開始全力投入襲擊活動。
勝利與創傷
1967年第三次中東戰爭爆發，阿拉法特再次參戰，在阿拉法特的領導下，“法塔赫”戰士們在武器裝備極為缺乏的情況下，於3月21日重創當地以軍，取得了著名的“卡馬拉戰役”的勝利。這一戰雖未改變整個戰局，卻因打破以軍不可戰勝的神話而意義重大。一戰成名的阿拉法特抓住了這個大好時機，迅速壯大法塔赫的實力，3天之內，就有將近5000名巴勒斯坦人加入遊擊隊。一度被阿拉伯世界“拋棄”的巴勒斯坦人也借由這一役而成為阿拉伯人的光榮。阿拉法特那張頭戴卡菲葉頭巾、臉上長滿胡子的照片，登上了美國《時代》雜誌的封麵，阿拉法特成為了阿拉伯世界的民族英雄。
1964年，納賽爾邀請了13個阿拉伯國家領袖，在開羅召開了首次阿拉伯高峰會議。會議主張成立一個正式的巴勒斯坦人政治團體——巴勒斯坦解放組織，以對抗以色列。與法塔赫立場不同的巴勒斯坦解放組織在之後的幾年裏與法塔赫時有衝突。直到1969年，阿拉法特順利當上巴勒斯坦解放組織的執行委員會主席，巴勒斯坦解放組織終於脫離了被阿盟掌控的狀態。1969年底，阿拉法特還親手組建了法塔赫的軍事組織“暴風”突擊隊。1970年1月1日，阿拉法特領導“暴風”突擊隊在巴勒斯坦北部對以色列發動首次武裝鬥爭，這場戰鬥最終引發了巴勒斯坦革命。6月，阿拉法特被選為巴勒斯坦遊擊隊總司令和軍事委員會主席。9月，巴激進組織“人陣”把4架飛機劫持到約旦，約旦和巴解的矛盾達到頂點，巴人將此次事件稱為“黑九月”事件。約旦國王侯賽因調遣軍隊向巴解遊擊隊發動了大規模進攻，致使約4000名隊員被打死。到1971年7月，巴解武裝力量全部撤出約旦。60年代到70年代初的巴解組織被視為恐怖組織，其與周邊國家的關係也一度十分緊張，阿拉法特逐漸認識到恐怖主義並不是爭取巴勒斯坦解放的明智之舉。
1974年2月，巴解民主陣線召開第五屆年會，會議主張巴勒斯坦人將在以色列結束對西岸地區和加沙走廊的占領狀態後，在當地建立獨立的巴勒斯坦國。在阿拉法特的努力下，這項主張在6月在開羅舉行的第十二屆巴勒斯坦國家議會上一致通過。會議還通過了一項內容為“巴勒斯坦解放組織不再以推翻以色列為其唯一目標”的決議。10月28日，第七屆阿拉伯高峰會議承認巴解組織為巴勒斯坦人的唯一合法代表，其有權在任何被解放的地區建立獨立的巴勒斯坦國。11月13日，阿拉法特應邀參加聯合國大會發表演說，聯合國通過了支持阿拉法特的巴解組織代表巴勒斯坦人的決議，阿拉法特這項外交上的勝利，為他贏得了寬廣的舞台。
伸出橄欖枝
阿拉法特1974年在聯合國大會上的演講中有一句話至今廣為流傳：“我是帶著橄欖枝和自由戰士的槍來到這裏的，請不要讓橄欖枝從我的手中掉下。”然而，直到1988年，阿拉法特的“橄欖枝”才第一次勝過他的“槍”。隨著冷戰接近尾聲，1988年的世界局勢發生了很大的變化，和平的呼聲成為一股潮流。阿拉法特順應國際形勢，頂住內外壓力，在日內瓦聯合國大會特別會議上首次宣布承認以色列有權存在。9月，阿拉法特在阿爾及利亞的阿爾及爾宣布成立巴勒斯坦國，首都為耶路撒冷。1989年4月2日，阿拉法特當選為巴勒斯坦國總統，成為一位沒有國土的國家元首。1990年，阿拉法特正式宣布承認以色列國。1991年，為了巴勒斯坦的民族解放事業而長期單身的阿拉法特終於在62歲時，與比自己小34歲的蘇哈舉行了婚禮，並於1995年生下一女。