張堯佐以宣徽南院使的身份出知河陽府，而不再有所升遷，這實際上是仁宗皇帝與以包拯為首的台諫官員們各方妥協的結果。然而，事情並沒有就此終結。
嘉祐三年（1051）的冬天，殿中侍禦史唐介彈劾宰相文彥博，之後又彈劾諫官吳奎。而事實上，這唐介就在去年還和吳奎、包拯等人一起極力彈劾張堯佐，可如今，為什麼又上疏彈劾自己曾經的親密戰友還有一朝之執宰呢？
原來，對於仁宗皇帝複任張堯佐為宣徽使，並出任河陽知府的處置，在當時的諫官當中其實是產生了很大的分歧的。包拯等人認為隻是讓張堯佐出知河陽府而已，相比於之前的一身任四使，不需要再繼續彈劾了。而且剛剛惹怒仁宗皇帝的包拯等人也希望可以通過相互妥協，緩解一下君臣關係。而唐介則認為，這次仁宗皇帝實際上是借出知河陽府之名為張堯佐恢複宣徽使的職位，不應該就此罷手。而得不到諫官支持的唐介隻得自己一人獨自上疏繼續彈劾張堯佐，認為不應該讓張堯佐複任宣徽使。
仁宗皇帝對此也不知該怎麼處置好，便向唐介推脫說，這個任命其實是中書省的決定，與自己無關。誰知唐介倒也幹脆，他表示：“既然這是中書省的決定，那我就彈劾執政大臣。”退朝後，唐介希望得到禦史台的支持，無果之下，唐介便向朝廷要求貶官離京，結果也沒有得到允許。
唐介無奈，見諸般不可，便豁出去了，開始彈劾時任宰相的文彥博。
唐介當麵向仁宗皇帝上疏說：“文彥博當初任益州（今成都）知州的時候，專門用金絲間織出一種‘燈籠錦’，並將它偷偷獻給張貴妃，張貴妃十分喜歡，文彥博才得以進入中書省；而平定貝州王則之亂時，也是因為前帥明鎬的功勞，才以此當上了宰相。既然複任張堯佐的任免不是皇上下達的，那麼就是文彥博私下升任張堯佐來迎合張貴妃。文彥博這麼做都是為了他的一己之私。”
又說：“文彥博當上宰相後，京城各處要職都出自文彥博的門下，他們相互勾結，虛張聲勢，都是為了能夠作威作福。文彥博還勾結禦史台官員吳奎等人，使無人上疏議論這些事。臣請求陛下罷黜文彥博，讓富弼接任宰相。而臣與富弼之間從未見過麵，更沒有什麼私交。這麼做隻是為了讓適當的人作為一國之宰相。”
唐介說文彥博是因為張貴妃而做上宰相就等於是直說仁宗皇帝偏聽內宮了，仁宗皇帝聽了自然大怒，當即把唐介逐出了京城，貶往偏遠的英州（今廣東英德縣）做官去了。
文彥博與張貴妃之間的關係在正史和野史都有種種不同的記載。但可以肯定的是，當時，文彥博確實與張貴妃交往甚密。
文彥博知道唐介上殿彈劾自己後，便主動向仁宗皇帝請辭。而仁宗皇帝也一反常規，沒有稍加挽留，便準許了文彥博的請辭，讓他出知許州去了。吳奎也被調往密州任職。
吳奎可以說是包拯的親密戰友，他們在政治上很多觀點都是相似的，他們也經常一起署名上疏。吳奎被貶密州，對於諫院，對於包拯，都是少了一份很大的力量的。吳奎之所以被貶，又主要是因為受了唐介彈劾文彥博一事的牽連。
於是，包拯上疏《請留吳奎依舊供職》，希望可以讓吳奎留任禦史台，並指責唐介所說的都是“輕妄之詞”。包拯請求留任吳奎，實際上也是為自己申辯，因為唐介公然指出禦史台與文彥博相勾結，而包拯其實與文彥博少時同窗，而且是同屆高中進士的，包拯與文彥博私交也是很好的。
仁宗皇帝看了包拯的奏疏說：“之前，唐介說文彥博與包拯、吳奎等人都是私下勾結，而你今天就上疏指責唐介，請留吳奎。這麼看來，唐介並不是亂說的啊。”於是，仁宗皇帝堅持貶調吳奎。