所以，當宋徽宗聽到哈密嗤說道“上房抽梯”的話，猶如芒刺在背，道：“李愛卿，哈軍師說的不無道理啊！”就連膽小怕事的張邦昌，也生怕李剛與金國使臣鬧僵，道：“李相，金宋兩國互派人質，不曾傷及威儀。”
李剛義憤填膺道：“張邦昌，你身為一國之宰相，位極人臣，竟然做出送皇子當人質的苟合之事。我來問你，商紂押文王，幾曾太平；韓國押異人，戰事紛爭，我朝送皇子當人質，豈能久乎？”
“吾皇萬歲，李相說得對，不能送皇子當人質，這樣有損大宋龍脈。”樞密副使宗澤出班跪倒。張邦昌再次跪倒，道：“吾皇萬歲，自梁山、太湖亂匪以來，各地皆有盜匪而起，此時與大金國互結友好，正好可以騰出手以絕內患。然，臣不遺餘力促成金宋之和好，卻有李剛之流橫加阻撓，不得願矣，他日若再起紛爭，臣無能為力耳！”
宋徽宗一聽張邦昌說到“他日再起紛爭”的話，耳根發炸，頭皮發麻。此時，張邦昌的朋黨王時雍、吳拜、莫儔、範瓊等人紛紛跪倒，高呼：“吾皇萬歲，張相乃大宋之蓋國忠良，句句都是金玉良言，實為大宋千秋萬代之基業著想，還望吾主萬歲明鑒。”宗澤、韓世忠、張俊等武將站在李剛一邊，但從人數上還是張邦昌壓倒多數。
宋徽宗不耐其煩，道：“好了，各位愛卿就別爭了，互派人質、共修盟好之事，朕主意已定，派九殿下趙構前往大金國作人質，並加封為康王，著太子趙桓、宰相張邦昌全權處置。”
李剛一看，大勢已去，心中氣憤之極，道：“萬歲，大宋自太祖以來，何曾有過交換人質之事，今陛下此舉，有辱趙氏先祖，乃國人所不齒也。”
“嘟！大膽李剛，你竟敢咆哮龍庭，辱沒聖卿。傳朕旨意，廢黜李剛右相之職，改任員外郎，轟出朝堂。”宋徽宗大怒道。
隨著“喳”的一聲，進來兩位金瓜武士將李剛架出垂拱殿，可惜一個謀勇過人、秉性剛直、忠君愛民的清官，白白地被削了官職。此後，李剛成為抗金主戰派，多次沉浮，五次罷相放逐，其中一次在放逐路上寫下《吟病牛》的詩句：“耕犁千畝實千箱，力盡精疲誰複傷；但使眾生皆得飽，不辭羸病臥殘陽。”昭示自己像一隻病臥殘陽的牛，隻要不死，就要為芸芸眾生耕耘不止。
李剛被金瓜武士架出殿外，宋徽宗的怒氣仍然未消，群臣莫不戰戰兢兢。這時，大金朝右丞相哈裏強拱手施禮道：“大宋陛下，兩國互結盟好是眾望所歸，總會有一二個跳梁小醜橫加幹涉，但是，這無異於螳臂當車，不自量力。吾皇萬歲太宗陛下深知大宋陛下喜愛蹴鞠，特派大金國最好的蹴鞠高手，與大宋朝蹴鞠好手一同蹴鞠，望此舉能使陛下龍顏一悅。”
宋徽宗聽了哈裏強的話，果然精神為之一震，道：“哦！完顏吳乞買也知道朕喜愛蹴鞠嗎？”“是的，這是大金皇帝向大宋皇帝示好之一途也。”哈裏強回答道。“好，好，傳朕旨意，將朕親手調教的龍虎隊叫出來，與大金朝的高手一同蹴鞠，勝者，朕有獎賞。”徽宗高興地說道。
太監趕緊傳旨，四名精壯的小夥子，一身短衣打扮，上下收拾的毫無繃刮，走到垂拱殿前的空地上。隻見空地中央，有三根木頭搭成的“門”，在門的上方還有一個小門，蹴鞠雙方，誰將鞠蹴進小門，即為得分。不用問，上場的四個小夥子是受過專門訓練的，鞠在他們的腳下，鉤、踢、盤、帶、繞，剪、背、頂、傳、掃，每個動作都是幹淨利落，群臣們看了都樹大拇指，誇讚徽宗的龍虎隊，不愧為聖上親自點撥。
這時，又上來四位金國衣著打扮的漢子，四人中，隻有一人身材適中，此人年齡在四十多歲，看起來多半像中原人氏，海下卻有一副美髯，其他三人都是膀大腰圓的壯漢，走起路來咚咚有聲。四人一上場，就引起大宋群臣的嘲笑，心想：這三人是蹴鞠之人嗎？估計在北國是打鐵的出身吧！隨著鑼聲一響，太監高聲喊道：“雙方蹴鞠之人相互查驗，若無使詐，蹴鞠就要開始了，蹴鞠為五局三勝。”那位看官問了，蹴鞠還要勘驗什麼？當然要查驗，有的蹴鞠之人為了贏得蹴鞠，故意將腿上纏滿精鐵，讓對方不敢下腳，這是一種使詐手段，為正人君子所不齒，故，在皇宮這樣的正式場合，必須要查驗一番，以示公允。