當亞曆山大登位時，馬其頓的國庫空虛。公元前335年，在科林斯重新得到除斯巴達之外的希臘城邦同盟支持的亞曆山大重征馬其頓北部色雷斯，為東征小亞細亞穩固北部防線，並報複公元前338年當地特裏巴利部落對腓力二世部隊的偷襲和對戰利品的盜竊。在多瑙河打敗特裏巴利後，他進軍並打敗威脅馬其頓西北的伊利裏亞，彌補了腓力二世執政時的重要失敗。
與此同時，雅典和當地強權底比斯，把亞曆山大死於多瑙河的謠言看作新的機遇。底比斯再次起義後，亞曆山大從伊利裏亞不經馬其頓隻用14天便到達底比斯。他與希臘同盟國徹底摧毀了底比斯，消除了威脅馬其頓的三大希臘勢力之一（其餘為雅典、斯巴達），把其國境分給盟國，並把大部分底比斯邦民售為奴隸。軍事支持（但軍隊尚未過國界的）底比斯的阿卡狄亞隨之處死其國領袖，未軍事支持底比斯而已被封鎖港口的雅典隨後也放棄抵抗。
波斯出征初期
希臘與波斯的敵對始於公元前6世紀，當時位於小亞細亞的自由希臘城邦淪陷於向西擴張的波斯王國。在愛奧尼亞叛亂和馬拉鬆戰役後，公元前481年，波斯國王薛西斯一世在第二次波希戰爭時試圖占領整個希臘。雖然薛西斯一世被打回波斯之後也再沒有進攻希臘，但薛西斯一世在公元前480年火燒雅典衛城及其他被認為瀆神的行為使得亞曆山大時的希臘政界仍存在著報仇和反攻波斯的聲音，這也被腓力二世和亞曆山大所利用。
以父親被波斯人刺殺的理由和“解放小亞細亞希臘城邦”的口號，公元前334年亞曆山大出征小亞細亞，母親奧林匹亞絲則留在佩拉執政，安提帕特也留守在馬其頓，以約12000步兵和1500騎兵維持對歐洲的壓力。亞曆山大自己帶著由馬其頓和其他希臘城邦組成的30000~40000步兵和4000~5000騎兵越過了希裏帕（今達達尼爾海峽）。雖然他的出征彌補了腓力二世遺留給他的債務，一個空了的國庫使他隻帶了30天的補給。
在小亞細亞亞曆山大和小部分部隊首先訪問了特洛伊，他和他兒時的好友海菲斯提恩分別祭阿基裏斯和《伊利亞特》中阿基裏斯的好友帕特洛克羅斯。
隨後亞曆山大與將軍帕曼紐帶領的其餘部隊會合，繼續向波斯地方總督的要塞進軍。附近的兩個希臘城市中，一個已獨立於波斯，一個不希望被“解放”，而部隊急需通過征服得到補給。
波斯的希臘雇傭軍統帥，羅德斯的蒙農建議焚燒周邊的田地，但由於波斯地方總督憐惜他們的財產，未被采納。當時波斯邊疆省份的3位總督，包括波斯皇帝大流士的駙馬，聯兵4萬人（2萬波斯騎兵，2萬希臘雇傭兵）在格拉尼庫斯河與亞曆山大正麵交戰。亞曆山大在格拉尼庫斯戰役中自己率領著近衛騎兵“夥伴騎兵”隊，領先與波斯騎兵交戰，2位波斯總督被亞曆山大和他的“夥伴騎兵”隊殺死。亞曆山大自己的頭盔和帽纓也被其中一位波斯總督的戰斧劈掉。另外一位波斯總督在亞曆山大身後偷襲時被亞曆山大的部將克利圖斯殺死。為恐嚇為波斯人效勞的希臘雇傭兵，亞曆山大讓部隊於戰場上屠殺大部分希臘雇傭兵，其餘被押回馬其頓強迫勞動。他將300領波斯鎧甲作為給雅典娜的祭品送回雅典衛城，帶著如下題字：
“來自亞曆山大，腓力之子，和希臘人（除了斯巴達人）的奉獻，從居住在亞細亞的野蠻人奪取。”
與波斯部隊相比是敵眾我寡，盡管存在許多不利，亞曆山大仍對波斯軍隊致以一係列毀滅性的打擊，取得了勝利。他的成功有三個主要原因。第一，腓力二世留給他的軍隊比波斯軍隊訓練有素。第二，亞曆山大是一位傑出天才將領。第三，亞曆山大本人具有英勇無畏的精神。雖然每場戰鬥初期亞曆山大是在後方坐鎮指揮，但他的方針是如果部隊發動決定性進攻，他則身先士卒。這種冒險的戰術使他屢次受傷，但士兵們看到他與他們生死與共，並不要求他們去冒那些他自己不願冒的危險，這對鼓舞他們的士氣影響巨大。
從西亞到北非
此戰之後，他發現波斯的海軍優勢對他的後勤補給產生嚴重困擾，但是當時希臘又沒有足夠強大的艦隊來挑戰波斯的製海權。因此他決定采取一個笨辦法——從陸地上攻占所有的東地中海港口和基地。亞曆山大從今天的土耳其地區出發，一路征戰南下敘利亞，巴勒斯坦，直到埃及。
亞曆山大首先率領部隊攻克了小亞細亞，消滅了駐守在那裏為數不多的波斯部隊；隨後向敘利亞北部挺進，途中，波斯皇帝大流士禦駕親征，從亞洲腹地征調幾十萬大軍出現在亞曆山大的背後，切斷馬其頓軍的供應線。亞曆山大回身麵對大流士的優勢兵力，進行了伊蘇斯會戰。對伊蘇斯會戰中波斯方的兵力，古典曆史學家的說法不一，阿裏安的《亞曆山大遠征記》中的60萬肯定是大大誇張了。不過波斯兵力占很大優勢是沒有問題的。但波斯軍的素質不如馬其頓軍。此戰幾乎全殲波斯軍，大流士皇帝落荒而逃。為了鞏固後方，亞曆山大沒有窮追，而是回身繼續向南征服地中海沿岸港口，經過七個月的艱難圍攻，攻克了腓尼基的島嶼城邦推羅城（在今黎巴嫩）。在圍攻推羅期間，亞曆山大收到波斯國王的一封書箋，提出為了達成和平協議，他願把半個波斯帝國割讓給亞曆山大。亞曆山大的將軍帕曼紐認為這個建議很好，他說：“如果我是亞曆山大，我就采納這個建議。”亞曆山大回答：“如果我是帕曼紐，我也許會采納這個建議。