百濟複國軍方麵當然不是木頭人，眼見唐軍大舉進攻不會一點反應都沒有。扶餘豐在唐軍進攻不久就得到了唐軍大舉進攻的情報，正好此時日本又派了萬人的援軍渡海增援，扶餘豐得到如此眾多的日本軍的援助，底氣非常足，於是同樣水陸並進，集合了手中所有的兵力，沿江而上，企圖一舉擊潰唐軍，收複百濟全境。雙方目標相反，但是行軍路線卻相當一致，於是雙方反而在加林城附近的白江口相遇，來了一場水陸大戰。
此場大戰雖然是不期而遇，規模卻極大，百濟與日本的聯合軍軍力估計將近十萬，其中日軍船隻據史載近千艘，當然實際的數字並沒有那麼多，據推算應該在八百艘上下，其中載人的兵船占到一半左右。而唐新聯軍則在四萬左右，水軍為劉仁軌的七千唐軍，加上新羅盟軍和百濟降軍估計在萬人左右，船隻為一百七十艘，作戰船隻在一百艘上下。
龍朔三年（663）九月，兩軍在白江口不期而遇，唐新聯軍先發製人，新羅鐵騎充當先鋒，後隊唐軍陸軍主力突襲百濟軍陣，百濟軍雖然做了抵抗，但是並不成功，很快就被全麵擊潰。百濟陸軍之所以崩潰得如此之快，跟之前的兩場大火並不無關係，兩場火並之後百濟複國軍的兩位創始人均被殺，部下人人自危，兵無戰意，因此導致陸戰一觸即潰。
陸戰的閃電失利使得日軍大為惱火，於是決心以水戰定乾坤，此時無論是戰船的數量還是水軍的人數，日本方麵均大大超過唐軍，因此底氣十足，搶先發起了進攻。劉仁軌率領的唐軍一開始也被日軍龐大的船隊嚇了一跳，因此布陣收縮防守。日軍逆流而上猛攻唐軍船陣，但是劉仁軌防守有方，加上唐船技術先進，防禦力很強，日軍第一回合失利而退。
第二天日軍見唐軍並沒有因為第一天的成功防守而主動攻擊，於是都認為己方實力強大，隻要加把勁，必然能將唐軍擊退甚至消滅，所以叫囂道：“我等爭先，彼應自退。”可是唐軍並不像他們想象中的那麼簡單，沒有做出主動攻擊不過是表麵現象。在第一天的攻擊中劉仁軌已經掌握了日本水軍的虛實，雖然日軍人數眾多，可是船隻的大小和技術性能遠遠不如唐軍，但是由於數量上的巨大差異，唐軍也不適合進行主動攻擊，所以把艦船隊形依然布置成防守陣型，就等待著日軍的進攻。他也算準了日軍已經是箭在弦上不得不發了，此時陸路的百濟軍已經被擊破，如果日軍不想就此逃回家的話，必然會搶先進攻。果然在第二天日軍傾盡全力，將自己手中所有的戰船一下子放出，直衝唐軍陣形。而唐軍早有準備，利用在上遊順流而下的優勢，迅速將自己的船隊擺成了一個半月陣，放日軍戰船打入陣內，等日軍主力基本衝入之後就在左右兩邊進行合圍，將日軍團團包圍。日軍此時才曉得上了唐軍的惡當，可是後悔已經晚了。此時日軍船隻全部擁擠成一團，連掉頭都不可能，根本不能發揮其原有的戰力，但唐軍卻可以在外圍集中火力輕鬆地解決日軍艦船。就在日軍被包圍的這一刻，日本軍敗局已定。
扶餘豐見勢不妙，腳底抹油，急忙和剩下的輜重船一同逃命，他知道百濟已經大勢已去，所以連周留也不回，逃之夭夭，結果唐軍事後隻繳獲了他的佩劍。而此戰日軍損失極大，絕大部分戰船被焚毀，水陸作戰人員也基本被全殲，逃回國的日軍將領個個驚恐萬狀，對唐軍的戰鬥力從一開始的瞧不起轉為畏之如虎。
日本朝廷此時也慌了陣腳，唯恐唐軍乘勝殺奔日本，已經喪失全國精銳的日本絕經受不住唐軍的再一次打擊。於是自天智三年（664）開始，到天智朝結束，日本連年按批修築各種防衛設施。首先，在對馬、壹歧和築紫國設置烽火和派出駐守要地的防戍部隊。其次，在築紫修建大水堤，中儲以水，名曰水城，利於小船行駛，防止大船靠岸。其三，在對馬、北九州島、長門、讚吉的屋島、河內的高安修建城堡，形成三道防線。如果對馬、壹歧和北九州島失守，後麵還有城堡拒敵。為了統率西部各地防務，加強了大宰府的地位，專一負責防禦事務，以後因軍務不多，大宰府逐漸變成辦理同海西各國外交事務的部門。
不過唐日兩國的關係冷凍期並沒有持續很長時間，此後日本向唐帝國全麵靠攏，無論是法律製度還是文化藝術，無不如饑似渴的學習照搬，所謂的平等外交再未出現，反而為了自己在唐帝國屬國的排名爭得不可開交。
白江一戰盡殲日軍主力之後，唐軍麵前可謂是一片坦途，再無阻擋。百濟的反叛城池紛紛投降，此時的未來名將黑齒常之因為對百濟複國軍的失望，再一次投奔了唐軍。當然劉仁軌也沒有辜負他的期望，疑人不用、用人不疑，派他去攻打當時唯一沒有投降的任存城，黑齒常之也不負所托，順利攻下任存城，作為加入唐軍的投名狀，自此以後忠心耿耿，為唐帝國立下了汗馬功勞。
綜觀白江之戰，唐軍能輕鬆獲勝，除了劉仁軌等將領的指揮有方、唐軍將士團結一心之外，還有一個原因就是唐朝當時造船技術的先進。當時唐代船隻就已經擁有了分隔水密艙和釘接榫合法這些先進的技術，大大提高了船隻的抗沉性。
據杜佑《通典兵十三水平及水戰具附》記載，當時軍用艦船有六種類型：樓船、艨艟、鬥艦、走舸、遊艇和海鶻。不過除了樓船和鬥艦之外，其餘的都是小型艦隻，由於唐軍是遠洋作戰，小型艦艇顯然是不適合做如此遠距離的航行的，因為當時的航海依然有很大的風險，劉仁軌的翻船，還有以後著名的鑒真和尚渡日本都體現了其中的危險性，能經受這樣的風浪渡海的隻有大型船隻，所以筆者以為，在白江之戰中唐軍沒有小型艦艇，有的隻是五牙樓船、鬥艦這類的中大型船隻。
早在西漢就有樓船將軍，到隋初，楊素所造五牙樓船，“上起樓五層，高百餘尺，左右前後置六拍竿，並高五十尺，容戰士八百人”（《楊素傳》）。唐代的樓船，杜佑說：“船上建樓三重，列女牆、戰格，樹幡幟，開弩窗矛穴，置拋車壘石鐵汁，狀如城壘。忽遇暴風，人力莫能製，此亦非便於事，然為水軍不可不設，以成形勢。”樓船乃當時海軍裝備中最主要的作戰艦船，武器配備齊全。