由於忽必烈需要全部精力投入到征服南宋的戰役中，他無法騰出手來立即向日本人複仇。於是，1275年忽必烈又向日本派遣了一個使團，要求日本稱臣，以免再度興師入侵日本。日本處死了使節，這讓忽必烈很憤怒。不過，當時忽必烈忙於征服南宋的戰爭而無暇兼顧。
1279年，當最後一位宋帝蹈海淹死以後，忽必烈終於騰出手來，把他的注意力放在征服日本上。
1281年忽必烈以日本殺使臣為由，結集南宋新投降的10萬人組成一支大軍遠征日本。兵分兩路：忻都等率蒙古、高麗及漢軍4萬人，從高麗渡海；阿塔海、範文虎、李庭率新附軍乘海船從慶元、定海啟航。
不過，在第一次蒙古入侵以後，日本人得到了七年的喘息時間，這使他們有足夠的時間設計建造一個雖非堅不可摧、但卻足夠堅固的防禦工事。
元朝的二路大軍約定6月以前會於壹岐島及平壹島。高麗國王也為元朝提供了1萬軍隊，1500名水手，900隻船和大批糧食。然而，人數多、輜重多的元南方軍隊行動遲緩，沒有按預定時間與東路軍會合，東路軍在等待無望的情況下，從合浦出發，侵襲日本對馬、一岐兩島後，進抵築前誌賀島登陸。
日本守軍已有前次抗擊蒙古的經驗，他們在箱崎、今津等外沿岸構築防禦工事，並以精銳部隊開進誌賀島（誌賀島與九州之間有陸路可通），與東征元軍進行了激烈戰鬥。元軍戰敗，退至鷹島、對馬、一岐、長門等地，與姍姍來遲的江南軍會合。
然而會合後的元軍不但不積極進攻，反而因高麗、漢、蒙古統率之間的矛盾而不能協調作戰。這樣，蒙古軍在毫無蔭蔽的前提下，每前進一步都要付出沉重的代價。兩方對峙達兩個月之久，蒙古軍隊無法取得勝利。
兩個月之後，即8月15至16日，一場巨大的台風襲擊了日本海岸，在此次台風襲擊下，蒙古東路軍損失三分之一，江南軍損失一半，一些靠近海岸的士兵被日本人屠殺或溺死。蒙古人第二次東征日本又以慘敗而告終。
兩次出師失利，並未使忽必烈放棄征服日本的計劃。公元1283年年初，忽必烈下令重建攻日大軍，建造船隻，搜集糧草，引起江南民眾的強烈反抗，迫使其暫緩造船事宜。公元1285年，再次下令大造戰船，後因部分大臣反對，忽必烈才不得不於1286年正月下詔罷征日本。此後，元朝雖然還有過征伐日本的議論和準備，但均未能實現。
罷征安南
1253年臘月，忽必烈攻占大理後，留大將兀良哈台鎮守。兀良哈台平定雲南各部之後，於1257年秋，派使節招降安南陳朝（今越南北部）。安南國王陳日煚扣留使節，拒絕投降。同年十一月，兀良哈台率大軍沿紅河進攻安南。十二月，大敗安南軍，一舉攻陷安南國都升龍（又名大羅城，今河內），安南國王逃往海島。次年二月，安南國王陳日煚傳位於其子陳光昺。至夏，陳光昺派使晉見兀良哈台，表示臣服。
兀良哈台把安南使者送到忽必烈的大帳，忽必烈考慮到此番南征的戰略目標在於包抄南宋，現在既然安南表示屈服，也算達到了目的，便接受了乞和，繼續征伐南宋的事業。
1260年十二月，忽必烈派禮部侍郎中孟甲等出使安南，允許安南保持衣冠典禮風俗等本國舊製。作為回報，安南國王派族人通侍大夫陳奉公等覲見忽必烈，請求三年一貢。忽必烈同意其要求，並予以冊封。此後有一段時間，兩國使節往來頻繁。
1267年，忽必烈應陳光昺請求任命訥剌丁為安南達魯花赤（大督官）。不久，忽必烈又下詔要安南君長親自來朝，貴族子弟入質，編製戶口，出兵役，交納賦稅，設置各級達魯花赤。安南國王不接受這些要求，也不向元使跪拜，且還提出取消達魯花赤的要求。這讓忽必烈很不滿，不過此時元朝忙於滅宋，無力南顧。
1279年，元朝消滅南宋殘餘勢力後，開始討論對安南用兵問題，因南方各地人民不斷起義而作罷。1283年，忽必烈以進攻占城（今越南中南部古國）為名，派其子鎮南王脫歡、大將李恒率大軍南征，要求假道安南，讓安南給元軍提供糧草。安南新君仁宗陳日烜遣使告知元軍，寧願出糧助餉，但請元軍從別道進兵。元軍當然不理。
1284年十二月，元軍分六路侵入安南，安南大將陳興道率兵憑險節節抵抗，安南國王親率10萬大軍布防於升龍以北的富良江一線。
經過激戰，安南國王軍隊於至元二十二年（1285年）正月十三日撤離升龍，退守天長府。脫歡占領安南國都後竟焚毀了王宮，並揮師南下，同時命令駐紮在占城的元將唆都北上，合擊安南主力。
元軍會合後，分水陸兩路追擊安南王國部隊。安南王屢戰屢敗，逃往安邦海口，藏於山林，後又退據清化府。其弟陳益稷投降。元軍雖然獲勝，但在安南叢林地帶，蒙古軍騎兵亦無法施展其本領，到了五月，安南進入雨季，潮濕悶熱的氣候更加令元軍苦不堪言，軍中疫病叢生。加上安南援兵日增，而且安南軍民堅壁清野，元軍在當地找不到糧草脫歡被迫放棄已占領的安南京城，於同年夏撤至思明州（今廣西寧明縣）屯守。而在元軍撤退途中，在如月江、冊江（乾滿江）等地一再遭到安南軍民的截擊，損失慘重，唆都、李恒等元帥戰死。