甚至連蔡府中的奴仆也隨之得福。錢財自不必說，其中男仆做了大官，婢女被封為誥命夫人的竟屢見不鮮。
4大勢已去，命喪潭州
蔡京的所作所為引起朝中越來越多官員的厭惡與憤慨。“彈劾其惡”的奏章接連不斷地呈到徽宗手中。大觀年間，太學生陳朝“追疏京惡十四事”，為：“瀆上帝、罔君父、結奧援、輕爵祿、廣費用、變法度、妄製作、喜導諛，箝台諫、熾親黨、長奔溢、崇釋老、窮土木、矜遠略”，見《宋史》卷472，《蔡京傳》徽宗本人也深知蔡京為人奸詐，對其專橫行為亦頗感不滿，在執政二十多年中曾先後四次罷免其相位。不過蔡京為人機靈，善體察君意，為朝中其他大臣所不及。每次罷免他後，徽宗總是甚感不便，如同失去左右臂，隻好重新恢複其職。但天長日久，徽宗對他終於厭倦了，並開始疏遠他。
然而致使蔡京最終倒台的卻是其愛子蔡絛。蔡絛依恃父威，言談舉止驕橫霸道。朝廷眾官因他是蔡京之子，遇事總遷讓三分。蔡絛見狀，得寸進尺。他迅速提拔其妻的兄長韓穭，二人串通一氣，在宮中挑撥是非，陷人於罪，胡作非為，弄得整個朝廷烏煙瘴氣。就連其兄蔡攸也深感他的所為太過分。時任宰相的白時中、李邦彥終不堪忍受他的專橫跋扈，隻得照章辦事，將其告發。徽宗得知大怒，意欲降旨將他流放。蔡京知曉後大驚失色，立刻換上朝服麵見皇上，極力哀求。徽宗念在昔日情麵上，赦免了蔡絛的罪行，讓他停職在家。
其實徽宗罷免蔡絛乃醉翁之意不在酒，而是在暗示蔡京主動辭職。蔡京久經官場，心如明鏡；可是一生唯權是營的他豈肯放棄手中大權?蔡京不動聲色，盡管年近八旬，仍然每日拖著老弱病殘之軀親自處理政務，上朝言事。徽宗見後，隻好直接下令，命他即刻上章辭職。童貫到蔡府傳旨，蔡京一見老淚縱橫，顫顫微微地說：“皇上為何不容我蔡京再幹幾年?定有惡意中傷之人！”萬般無奈之下，隻得將辭章交出。
北宋是一個積貧積弱的王朝，內憂外患層出不窮。到徽宗末年，形勢更加嚴峻。宣和七年(公元1125年)，金兵分兩路南下：西路軍由粘罕率領，從雲中(今大同)出發，東路軍由斡離不率領，由平州(今盧龍)取道南京。金軍來勢凶猛，不久便長驅直入，渡過黃河，包圍了北宋首都汴京。北宋統治者聞風喪膽，急欲求和。以賠金500萬兩、銀5000萬兩、牛馬萬頭、絹帛100萬匹，割太原、中山、河間三鎮為條件換取金人撤兵。
徽宗見大勢不妙，早在金兵進入中原前就慌忙將帝位傳給其子欽宗，自己則帶著寵妃近臣們倉皇南逃，蔡京也在其列。北宋人民國難當頭，對蔡京一夥更加痛恨。當時在京城汴京盛傳一首童謠：“打破筒、潑了菜，就是人間好世界。”其中的“菜”，即指蔡京。
靖康元年(公元1126年)，金兵再度南下。宋朝君臣因見金兵返，自以為江山無虞，社稷可保，依然陶醉在綺羅叢中，疏於防備。金兵一路勢如破竹，京師再度告急。太學生陳太等人聯名上書，將以蔡京為首的王黻、朱助、童貫、李彥、梁師成等六人指為“六賊”，認為他們佞奸誤國，應從嚴處治。欽宗剛繼位不久，一則想平眾憤以樹立自己的帝王之威，二則擔心這些老臣會支持徽宗複辭，下令解除蔡京一切職務，謫居衡州(今湖南衡陽)，後又將他流放到儋州(今海南儋縣西北)。當時蔡京一路顛沛到南方已身染重病，知自己大限已至，正暗自神傷。又驚聞如此噩耗，又氣又怒：想當初我蔡京是何等富貴顯赫，誰料會落到今日之地步!他忍痛收拾行裝，和家人一道行至潭州(今湖南長沙)的東明寺，便撒手人世，一命嗚呼了。
關於蔡京的死也有一段傳聞：蔡京還在成都任知府時，一天在藥市上偶遇一位多發的婦人。這婦人如同畫中的毛女一般，突然對他說了一句：“三十年後再相見!”便轉身不見了。物轉星移，到蔡京被封為魯國公，以太師之職居京師時，一天，他在相國寺資聖閣下納涼，突有一人徑直走到他麵前，遞上一封信，說：“毛女有信。”蔡京剛接過信，此人就蹤影全無了。他打開來信一看，見裏麵寫著大大的兩個字——東明。當時蔡京見後還十分高興，認為“東明”乃向著太陽的方向，暗示他將富貴未艾。哪知這竟是他日後的喪身之處。
大凡能在史冊上留名的人，不管是流芳百世，還是遺臭萬年，都有自己的過人之處。蔡京亦是如此。他天資甚高，年僅23歲便中進士，且極為擅長筆墨丹青。隻可惜才不勝德，一味將自己的才能放在玩弄權術之上。他善於察顏觀色，見風使舵，最終得以高居相位。四度入相期間，他鉗製君主，助紂為虐，黨同伐異，搜刮民財，對北宋的腐朽統治起著推波助瀾的作用。北宋王朝有宋徽宗這樣一個荒淫無道的昏君已是不幸，加之有以蔡京為首的一幫奸臣得道當權無疑是雪上加霜。靖康二年(公元1127年)，內外交困的北宋終於走向了全麵崩潰的盡頭：在金軍南下的急促鐵蹄聲中，以曆史上著名的“靖康之恥”宣告滅亡。