宋徽宗崇寧五年（公元1106年）正月，“彗出西方，其長竟天”，天上出現了彗星，這種不祥的預兆給舊黨和受蔡京打擊迫害的人提供了反擊的機會，紛紛趁此大做文章，把天庭發怒歸咎於蔡京等人的胡作非為。徽宗皇帝似乎也不得不相信這一點，趙佶比誰都清楚自登基以來在幹什麼，蔡京在幹什麼，朝臣乃至天下人看見的是什麼，他玩得晨昏顛倒，而麵對天怒人怨，犧牲的對象也隻能是蔡京。昏庸無能的主子慣用的伎倆是隨風倒，出爾反爾，以不傷及自己為要。趙佶也怕上天真的會懲罰他，於是趕緊采取補救措施。首先頒布罪己詔，讓天下人給朝廷提意見，接著根據大臣的奏請，，連夜派宦官去端午門拆毀元祐黨人碑，恢複這些人的仕籍，外地所立的奸黨石刻也同時一律拆除，能敘用的人加以敘用。
皇帝是高高在上的，他可以翻手為雲覆手為雨，蔡京就不一樣了，他清楚自己決不能退縮，一旦元祐黨人翻過身來，他們不會也不敢對天子怎麼樣，但頭一個報複的對象就是他蔡京。——雖說是一對誌趣相投的玩伴，但各自有各自的處境，各懷著各的心思，皇帝這時已有了拿蔡京為自己解圍的念頭，蔡京卻還蒙在鼓裏。徽宗命人連夜毀掉元祐黨人碑，次日上朝，蔡京發現石碑被毀，以為壞人搗亂，大聲責問：這是誰幹的？氣哼哼上殿，頭一件事便要上奏皇上嚴加懲處毀碑的家夥。有個小黃門悄聲告訴蔡京：這是聖上昨夜命人幹的。蔡京聞言大吃一驚，吃驚之餘不忘做一點爭取，他嚷嚷道：“碑可毀，名不可滅”碑可以毀了，但他們的罪行逃脫不掉。徽宗皇帝早就聽到了蔡京的吵嚷聲，他端坐在朝堂上不動聲色。而反對派們已分明看出，皇上對蔡京的囂張隻是隱忍未發。於是以趙挺之、劉達為首，趁熱打鐵聯名上書，奏蔡京專橫跋扈，目無君父，黨同伐異，陷害忠良，興役擾民，耗損國帑，應當早早地將其罷免。
徽宗多少有些不忍心傷害這個玩伴，但上天發怒、民怨沸騰，不犧牲夥計你難道要朕自裁以謝天下嗎？宋徽宗不能不忍痛割愛了，他下詔免去蔡京宰相之職，為太乙宮使。太乙宮是皇朝修築在終南山下的一處風景遊玩地，供達官顯貴避暑消夏閑遊。皇帝這是讓蔡京閑呆著去了，趙挺之取代了蔡京的相位。
蔡京惡，但他的惡是在他頭前那位皇帝的首肯認同下做的惡；蔡京早該被踢出朝廷，但國運衰微、家道中落，趕走一隻狂吠的走狗有多大的用呢？主子還是那個花天酒地、鬥雞走馬的主子。因此我們很能理解蔡京的一肚子委屈，能理解他的不甘就此罷休。蔡京被貶後心裏很是不平，既然大家都這麼無厘頭地玩，咱也要跟你們玩到底。蔡京長期與後宮嬪妃宦官關係不錯，他悄悄地找到了鄭貴妃，訴說了自己的委屈，拜托貴妃乞請皇帝。轉而又求鄭貴妃的族兄鄭居中代為在徽宗麵前說情，指出趙挺之一夥才是真正的包藏禍心。徽宗皇帝又被說轉了向，次年即罷趙挺之相，令做觀文殿大學士，免劉達職，出知亳州（今安徽亳州），著人把蔡京請了回來，複拜尚書左仆射兼門下侍郎。——一對玩家經過短暫的分別後再次聚首。