阿裏海牙知襄陽的戰略地位，誰占了襄陽，誰就擁有了南宋天下的一半。忽必烈接受了阿裏海牙的建議，就命同知樞密院使伯顏與阿裏海牙率兵征戰，事實正如阿裏海牙所估計的一樣，自襄陽攻破，呂文煥投降做了元朝的大官，南宋的其他州郡就更無鬥誌了。他們認為作為南宋對外用兵的第一門戶襄陽都被攻破，其他州郡就更是不可力敵。因此，當阿裏海牙率兵一路南下，所過州郡很少有過迎敵，各州郡守將不是象征性地與阿裏海牙對上幾陣就投降，就是見了阿裏海牙的旗號就倒戈委身於元。當然對於以後所降的宋將，阿裏海牙並沒有像對待呂文煥那樣禮遇了，也沒有幾個做到了呂文煥那樣的大官。每戰攻城掠地，使得忽必烈滅宋的計劃比他自己所設想的要容易得多。
至元十一年九月，阿裏海牙會師襄陽，從襄陽誓師南伐，十二月出沙蕪口，第二年三月與巴陵守將高世傑兵遇巴陵。稍作戰事，高世傑就兵敗而逃，至桃花灘而投降元軍。一路滔滔下嶽州，四月至沙市，攻沙市不下，乃放火，沙市即破，沙市宣撫使朱祀孫獻城以降。入江陵，傳檄郢、歸、峽、常德、灃隨、辰、沅、清、複、均、房施、荊門及諸洞，檄文所到之處，州、縣、郡守無不懾於阿裏海牙的威力而紛紛歸降。見此，忽必烈大喜，大宴三日，對其近臣說出了自己的內心話。他原以為南宋江山會固若金湯，元軍滅宋會需要一段很長的時間。他打發伯顏作為東路，因為阿裏海牙孤軍作戰，也就很是為阿裏海牙操心；沒有想到，阿裏海牙竟是如此善戰，南宋將士竟是如此不堪一擊，也就放心了。今荊南定，吾東兵可無後患矣，於是親自作詔以褒阿裏海牙，並命阿裏海牙撤軍還鄂。
卻說阿裏海牙，在接到忽必烈的嘉勉令與撤軍返鄂的聖旨之後，不敢有違，所有收服的州郡的長官仍以原州郡的長官擔任，以穩定所收服州郡的治安，又加派了兵馬幫助維護。撤兵至鄂後，阿裏海牙寫信招潭州太守李芾來降。這李芾可不比呂文煥，亦不比其他的郡守，他對阿裏海牙的招降文書連看都不看，就一把火給燒了，將來使重責了五十軍棍，打得來使皮開肉綻，並將其轟出潭州。來使灰溜溜地爬了回去。
自襄陽誓師南征以來，這位招撫信使幾乎沒有受到過任何委屈。在其他州郡，盡管他是一位跑馬送信的小人物，卻終究手裏拿了阿裏海牙的書信，也就拿了雞毛足以當令箭來，州郡長官見了，巴結他還來不及，將他敬君尊神一樣奉為上賓。
如此崇高的禮遇，也就養成了他養尊處優的習慣，而自覺作為元人，他該高人一等。然而到了潭州，見李芾氣得渾身顫抖，叫了軍棍侍候：“回去告訴阿裏小兒，在潭州，隻有斷頭將軍，沒有投降將軍。”
李芾說話擲地有聲，義正辭嚴，信使也就顧不得尊嚴，顧不得疼痛，邊滾邊爬溜了。回到大營，信使向阿裏海牙彙報了李芾的回話，並添油加醋地向阿裏海牙反映李芾是怎樣咒他，是怎樣咒罵忽必烈的，氣得阿裏海牙嗷嗷直叫，恨不得立馬就將李芾拿住，並生吞活剝他。
自破樊城，攻襄陽，又從襄陽誓師一路南下，阿裏海牙沒有挫折，戰無不勝，攻無不克，以至南宋諸將望旗倒戈，聞名喪膽。阿裏海牙沒想到，潭州李芾不僅不買自己的賬，而且還責打來使。兩軍交鋒，不斬來使，這不是你漢人曆朝曆代所定的規矩麼？
阿裏海牙可是天生一個戰爭狂，在聽了信使的彙報後，氣得不得了。過一會兒後，他也覺得這李芾倒是有些氣節，不像其他州郡的守將。他自襄陽誓師前後不過一年左右，就征服了南宋幾十個州郡，少有州郡與之交鋒，也就有些乏味。戰爭嘛，當然就是征服，但僅僅隻是征服麼？除了征服之外，是否還存在智力與體力的抗衡？所謂將遇良材，棋逢對手，不就是指戰爭麼？阿裏海牙曾做過販馬人，到過潭州，聽說過楚蠻子的種種傳說，也聽說作為湘楚文化化身的屈原的種種傳說。