光陰如箭，看看太子已經周歲了，宣宗親自抱持著去祭告宗廟，即賜名為祁鎮。孫貴妃既生了皇子，要宣宗踐那前言，立她為後。宣宗這時有子，把應許孫貴妃的說話早已經忘了，孫貴妃卻刻不去心，不時把閑話來譏諷宣宗、宣宗記起了前事，一時倒覺為難了。因胡皇後是張太後親自指婚的，又不曾有失德的地方，若無故廢後，在情理上也說不過去。怎經得孫貴妃的絮聒，宣宗被她纏得無法，便悄悄地召楊士奇、楊榮、楊溥、賽義等至無極殿裏，宣宗卻滿麵笑容地間道：“聯欲廢去胡皇後，卿等可有異議？”
楊士奇、楊榮齊聲答道：“今胡皇後並無失德，陛下豈可輕言廢立？”
宣宗正色道：“皇後身有奇疾，不能生育，怎說沒有過失？”士奇頓首道：“這非是失德，也不足據為廢立的要旨。”楊溥接口說道：“即使皇後患有奇疾，將怎樣地布告天下？”宣宗憤憤地道：“曆代帝王，不曾有過廢後嗎？”賽義答道：“那是有的，昔宋仁宗廢郭後為仙妃，當時大臣如範仲淹等也曾苦諫，宋仁宗雖毅然決行，後來到底自悔的。但流傳到今，史冊譏評，都不以仁宗的廢後為然。
臣願陛下衰衷獨斷，無信小人的讒言，將來成一代有德的聖君。”
宣宗聽了，不覺含溫道：“聯的主見你們既不讚成，就暫時緩議吧！”於是三楊和賽義等便謝恩而退。
第二天上，宣宗被孫貴妃催迫不過，又召三楊進宮議廢後的良策。宣宗說道：“廢後恐遭外議，可有兩全的方法嗎？”三楊起初默默不答，宣宗卻再三地追問，三楊便互相推諉，到了楊溥，楊溥推給楊榮，楊榮無可再推，隻得說道：“陛下如決意要行，隻有請皇後托疾，病中上書辭讓中宮，就不致受廢立的譏笑了。”宣宗忙拱手道：“謹受先生的賜教。”三楊這才辭出。
不上幾天，就聽得胡皇後稱疾，並上疏請讓後位。宣宗準了她的疏，下諭封胡皇後為慈欽大師，出居長清宮禮佛。一麵冊立孫貴妃為皇後，滿朝文武又有一番慶賀，內中隻有大理寺卿賽義不肯上表稱賀。宣宗倒沒有計及，那孫貴妃卻已知道，說賽義瞧不起她，便把賽義記恨在心。宣宗自廢了胡皇後，雖從了孫貴妃的心願，那張太後便非常地氣憤，說：“胡皇後是當年懿旨指名冊立，既未有失德，何以妄行廢立？”宣宗把胡皇後自願讓位的話，勉強來支吾張太後。太後怒道：“倘沒人去逼迫她，皇後斷不至自讓的，那還不是孫妃的鬼戲嗎？”宣宗說道：“胡皇後是母後指婚，孫妃也是母後所立，誰賢誰不賢，母後必然知道的了，何用再間別人呢？”說罷就起身出宮。張太後給宣宗一言，不覺塞住了自己的嘴，回答不出話來。過後回想，心裏越想越氣，母子之間從此便生了一種嫌怨。宣宗和張太後不睦，再添上那內侍宮人們的挑撥，兩下裏愈見疏離。況廢胡皇後的事，麵子上是胡皇後讓位，外議終說是廢立的，對於宣宗不無譏評的地方。宣宗把這些話聽在耳朵裏，心上更加煩惱，他在沒精打采的時候，終是帶了內監微服出宮。
一天的晚上，楊士奇的家裏，忽然來三個商人叩門求見。門上的仆人回說相爺已經睡了，那商人一定要見。門仆問他姓名，三個人都不肯說，隻是要見相爺。門仆怒道：“你們是哪裏來的市儈，深夜到相府中來吵鬧，告訴了咱們相爺，立刻把你們送官，至少打上兩百板呢！”那三個商人齊答道：“正要你去告訴相爺，你去說給了相爺知道，看誰怕他，你快去喚楊士奇出來就是了。”門仆見三個人無理，去摸著門門，開了側門，直打出來，三人中早有一人上前，奪了他手裏的門門，一拳把他打倒在地。那門仆吃了痛苦，不禁大叫起救命來了。這時相府裏的仆人聽得門上的人喊救命，便一窩蜂地趕出來，不問情由，擄臂便打，先前打門仆的那商人，見他們人來得多了，竟一點也不懼怕，隻連說了兩聲“好！好！”便奮起兩隻拳頭，似雨點般打來，相府裏的十幾個家人，被那商人打得東倒西歪，鼻腫臉青。有幾個乖覺的，溜空去到裏麵招呼同伴，不上一會工夫，裏麵早奔出三四十個健仆，各人手裏拿著一根木棍，發一聲喊並力向那三個商人打來。那三個商人見他們用家夥動手，那先打門仆的商人，飛起一腳踢倒了兩個，奪下兩根木棍來，一根遞給後麵的一個商人，兩個人兩根木棍，好似雙龍攪海一般，把一班健仆直打得抱頭亂竄，都入相府中去了。這裏兩個商人也乘勢追趕進去，仆役們待把大門閉上，己是來不及了。慌忙逃進二門，才關得半邊，還有半扇卻被商人的棍子撐住。仆人們隻得棄了二門，奔進第三重門，將門關得緊緊的，一麵由三四個家丁爬在牆上，當當地敲起鑼來。
這時楊士奇還沒有安睡，一個人坐在書房裏看公文，忽聽得外麵人聲嘈雜，待喚仆人去問時，任你喉嚨叫破，沒人答應。士奇慌忙跑到外麵，見那兩個商人打進來。士奇大驚，喝叫家人們住手。不知商人是誰。