忽必烈攻下襄、樊二城後，決定乘勝進軍。鹹淳十年（公元1274年）十二月，右丞相伯顏和阿術從漢水渡江，直逼鄂州而來。鄂州本來一直是南宋防守重地，但到了晚期，由於邊將玩忽職守，朝中士大夫又恥言邊事，因而鄂州武備漸弛。元軍采取了進攻與勸降並用的手段，很快奪取鄂州，荊襄防區全麵瓦解，臨安岌岌可危。時逢度宗病逝，恭宗登基，於是太學生們紛紛上書要求賈似道親自領兵抗戰。賈似道暗暗叫苦，但迫於壓力，隻得在臨安設置督府準備拒敵。他一直害怕降將劉整兵力強盛，因此遲遲不敢發兵。直到德佑元年（公元1275年）正月，劉整死訊傳來，他才放心欣然而笑：“天佑我也！”上表出師。為了防止大權旁落，他在出發前規定：宰執小事專決，大事必須與督府商議定奪。他又任命親信韓震為殿帥，掌握禁軍，控製臨安局勢。這才率著13萬人馬，乘著大批裝載金帛輜重的船隻，浩浩蕩蕩，奔赴前線。
事實上，賈似道絲毫沒有與元軍決戰到底的決心。一開始，他就想以非戰爭的方式促其退兵。因而一到達蕪湖，他又故計重施，讓宋京到元軍營帳中議和。此時忽必烈早已堅定了滅宋的決心，因而果斷拒絕了他的要求。
賈似道萬般無奈，隻得硬著頭皮交戰。命孫虎臣以丁家洲為據，夏貴以戰艦鎖江，自己則以兵為援，駐紮魯港（今安徽蕪湖南），三軍一體，共同製敵。這樣的戰略部署對宋軍是比較有利的。丁家洲地處長江江心，魯港也是長江上重要的隘口，隻要配合得當，就可以發揮“一夫當關，萬夫莫開”的優勢。然而，到真正開戰時，情況卻大相徑庭。夏貴惟恐督府抗元失敗，自己無所逃罪，又怕孫虎臣功勞居於自己之上，因此殊無鬥誌；賈似道一直持悲觀失望態度，根本無心戀戰，所以全部重擔就壓在了孫虎臣一人的身上。孫虎臣在軍中毫無威望，又缺乏軍事韜略，因而指揮得一塌糊塗。伯顏命令江中戰艦順風而下，步騎夾岸前進。用大炮猛擊丁家洲，孫虎臣軍大敗，退回魯港，撫胸痛哭說：“全營兵卒無一人肯聽我指揮，所以至此。”賈似道倉皇召夏貴商議，夏貴苦笑道：“目前諸軍已聞風喪膽，哪裏還有戰鬥力。隻有退入揚州，召集殘兵，護聖駕於海上，聽天由命罷了。”說完，解舟而去。賈、孫二人早亂了方寸，為了保住性命，竟撇下數萬士兵生死不顧，坐上一條小船奔竄揚州。堂吏翁應龍帶著都督府印逃回臨安，13萬大軍一時潰散，宋軍主力喪失殆盡。
元軍繼續東進，一路如入無人之境，連續攻下建康、鎮江、江陰等地，逼近臨安。南宋君臣一片混亂。這時，賈似道上書謝太後，請求遷都逃亡，太後不準，改任陳宜中為右丞相。陳宜中見賈似道人心盡失，便上奏請斬賈似道，以懲其禍國殃民之罪。謝太後考慮到賈似道是三朝元老舊臣，認為不可因一朝之罪而失待大臣之禮，於是隻免去了他平章、都督的官職。賈似道也玩弄權術，上書請形式上給予薄懲，借以保全，自己居留揚州，想躲過這場風浪。皇太後的寬容包庇，激起了臣民們的一致反對，紛紛要求嚴懲賈似道。朝廷見眾怒難平，隻得把他貶為高州團練副使，到循州安置。同時下詔廢除賈似道推行的弊政，懲處其黨羽，並為受其迫害的人平反昭雪。
樹倒猢猻散，昔日賈似道手下的文人客士見他失勢，都風流雲散。熱鬧的翹館立刻變得冷冷清清。獨有廖瑩中還在賈氏別墅內，依依不舍。廖瑩中曾舉進士第，除大理丞、知州等官職，但均辭官不任，甘願投身於賈似道門下為之效命。對於他這類知識分子，一生信奉的就是“千金易得，知己難求”的人生信條，仕途政治不過過眼浮雲而已。賈似道為人雖被人不齒，但他對手下這批門客卻甚為看重，廖瑩中為此總心存感激。他為賈似道編撰《福華編》、《奇奇集》，以歌功頌德；又翻刻《浮化閣帖》、《絳帖》、《五版蘭亭》和《全唐詩話》，還選錄了十三朝史事編輯成《悅生堂雜鈔》百卷，都具有一定的價值；他主持的世采堂、在勤堂也刻印了一些書。七月某夜，在賈似道遞職前夕，廖瑩中特上府慰問，與賈似道對坐痛飲，主仆二人相對而泣。廖瑩中深知賈似道大勢已去，回舍後便令愛姬煎茶，自己從箱中取出冰腦一握服下。又怕藥力不夠，即令愛姬以金杯進熱酒，增服數握。其姬方知吃的是毒藥，奪救不及，放聲大哭起來。廖瑩中雙目含淚，淒慘地說：“我跟隨宰相二十年，誰也料不到一日傾敗。宰相遭貶南行，我的性命更難保全。而今能死在家中，也算善終了。”可憐廖瑩中一世才學，然而忠奸不辨，助紂為虐，最終落得如此田地。