驚魂稍定之後，平家武士才發現前來挑釁的源軍不過一百餘人。可惜平家的首領平宗盛為人十分膽怯，他認為義經帶來的這點兒人馬隻是先頭部隊，要實行誘敵之策。所以即便看到義經隻有一百來人，他也不敢讓平家武士上岸去跟源軍廝殺。但是又不甘心就此被源家羞辱，怎麼辦呢？他派了一艘小船，船上坐著個美女，舉著一把紅底折扇，扇子上畫著個金色的太陽。什麼意思呢？就是向源義經挑戰，你牛你就射中這個扇子上的太陽。
當時雙方的距離大概在一百米左右，再加上海上顛簸不定，目標小，距離遠，箭射出去之後又會被海風吹偏，這得是神射手才能射準。如果源軍射不準，平軍就會扳回一點兒麵子，士氣大振。
源義經豈能忍受這種侮辱？立刻召集神射手，看看誰能把這扇子射落。當時有人推薦了一個叫那須與一的武士，他也沒有把握，策馬向海中奔行幾步，距離目標七八十米遠的時候，趁風勢較弱，抽出長箭，拉開硬弓，一箭射去，就把這扇子射飛了。
扇子飛起來落到海中，源氏武士頓時一起發出了勝利的呼聲。平家武士則大為沮喪。那須與一一箭得中，興奮之餘，又搭弓一箭射死了一名平家武士。這下子惹惱了平家人，他們從船上殺上灘頭。平家武士上了灘頭之後隻能步戰，海灘上泥沙又軟，深一腳淺一腳，跟源氏騎兵對抗，明顯落了下風，不得已又退到海上。
眼見勝利無望，平宗盛隻好下令退卻，放棄屋島。四國地區就被源義經平定了。
屋島戰敗，平家已成喪家之犬。源義經和源範賴會師之後，向平家最後的據點合圍，準備決一死戰，了結源平兩家數十年的恩怨。
平家政權灰飛煙滅
決戰的地點選在壇浦，就是今天日本的下關。
決戰開始之前，源賴朝派來的監軍梶原景時申請打頭陣，源義經不幹，要自己打頭陣，兩人越吵越凶。大戰還沒爆發，總大將和監軍就要火並，幸虧周圍的武士勸住了，倆人才沒打起來。
源軍在兵力上有優勢，戰鬥剛一爆發，義經就下令射殺平家戰船上的艄公和舵手，使敵船失去機動能力。這種打法在今天是非常正常的，但是在當時的日本是很不符合戰爭規則的。因為艄公和舵手不是水兵，而是請來幫忙劃船的非戰鬥人員，在戰場上是不能殺害非戰鬥人員的。義經打破了規則，不管三七二十一，隻要對取勝有幫助，就這麼幹了。
很快，平家戰船上的水手一一被源氏武士射倒，平家的戰船失去了控製。再加上這個時候水流方向發生了變化，不利於平家，平家軍節節敗退。主將平知盛一看大勢已去，就來到了平清盛的夫人和安德天皇坐的禦船上說：“看來大勢已去，必將受害的人，還是讓他們跳海自盡吧。”平清盛的夫人把三件神器之一的八阪瓊勾玉夾在肋下，腰裏插著草薙劍，抱起了八歲的安德天皇。她跟小天皇講：“陛下不要害怕，波濤洶湧之下的大海，也有我們金碧輝煌的帝都。”然後投海自盡。這一幕像極了九十四年之後，在中國發生的陸秀夫背負南宋幼帝自盡。
安德天皇的母親平德子也投海自盡，但是被源氏武士用撓鉤抓住頭發拖了上來，撿回了一條性命。另外一名平家貴婦抱著三件神器之一的八咫鏡想跳海，被源氏士兵阻止，搶下了八咫鏡。
平家武士當中，有頭有臉的紛紛投海自盡。不甘心自殺的平家猛將平教經決定最後一搏，揮舞大刀向源氏的船上跳去，見到穿著華貴鎧甲的就砍，直奔源義經殺去。源義經被迫從一艘船上跳到另一艘船上，一共連跳了八艘船，才躲開了平教經同歸於盡的打法。平教經一看實在追不上源義經，就一隻手抓起一個源氏武士，跳進滾滾波濤中，跟敵人同歸於盡了。
這次戰役平家的總指揮——平清盛的兒子平知盛，穿上兩套鎧甲，跳進了波濤當中，很快沉沒在大海之中。平家宗主平宗盛畏懼投海，跟兒子平清宗一起做了源義經的俘虜，被押到京都遊街示眾。想當年他們在京都過著天上人間的日子，這個時候身為囚徒，故地重“遊”，心中也是感慨萬千！後來平宗盛父子被押到鐮倉，源賴朝以勝利者的姿態接待了這位敗軍之將。在源賴朝麵前，平宗盛氣節盡喪，低聲下氣，乞求活命，可是源賴朝心狠手辣，絕對不會犯當年平清盛犯下的錯誤。如果當年平清盛不放自己，那麼平家一門焉有今日？平宗盛被就地斬首，長子平清宗，幼子平能宗，也被處死，平家一脈就此斷絕。
自平治之亂以來，統治日本二十多年的平家武士政權，在壇浦的戰火中灰飛煙滅。
祇園精舍的鍾聲，有諸行無常的聲響。娑羅雙樹的花色，顯盛者必衰的道理。驕奢者難久長，正如春夜的一夢。強梁者終將敗亡，恰似風前的塵土。
《平家物語》卷首的這首詩，千百年來為日本人所詠唱，訴說的其實不僅僅是平氏一門的曇花一現。