倘若這一項國防工事得以建設，明帝國的北部邊防將無懈可擊。但是，餘子俊似乎過於樂觀了。在得到憲宗皇帝的允許後，他並沒有親自督促此事，而是讓邊將全權負責。帝國的邊將並不全是餘子俊，肯為帝國出一切力而不求回報。在動工過程中，邊將越來越感覺到經濟壓力。他們集體抗議，認為這是不可能完成的任務。餘子俊的工作在受到下屬質疑的同時，他的同僚也開始騷動起來。
在他同僚眼中，餘子俊近年來出了太多的風頭，可謂青雲直上。當然，在對他指責的同僚中，有些人的意見的確中肯，建設長城有利有弊，利的一方麵已經得到驗證，但弊端也不可輕視，那就是征集民工和錢財上麵，倘若沒有餘子俊這樣高尚風格一心為公的人以身作則親自督促，這樣的工程無疑是得不償失的。
朝廷中開始流言蜚語，有人認為餘子俊所以屢提建設長城的工程，是因為想從中獲取暴利，也有人說，餘子俊是在用國家的錢在為自己博得民心與名聲。
這樣的議論越來越多，最後便發展成書麵材料擺在了憲宗皇帝的麵前。憲宗皇帝看了所有的材料和聽了許多流言後，對餘子俊突然深惡痛絕起來。就在這個時候，一個叫韋敬的宦官站了出來。他向憲宗皇帝進讒言，說餘子俊“假修邊多侵耗”，又說他“私恩怨，易將帥”。由於史料缺乏，我們不得而知韋敬的來曆和他為什麼要扔石頭砸已經落在井中的餘子俊的原因。或許是他收了有嫉恨餘子俊朝臣的錢，又或許是，在皇帝身邊總要曲意逢迎，他見到憲宗皇帝已經不喜歡餘子俊，就落井下石，給憲宗懲治餘子俊在心理上一個安慰與支持。
總之，他的確向餘子俊扔出了一塊足以讓餘子俊停止呼吸的石頭。憲宗皇帝令工部侍郎杜謙調查餘子俊。杜謙的品德可圈可點，並且很有見識，他認為餘子俊不會有這麼多道德瑕疵與違紀行為。在調查多日後，他交給了憲宗皇帝一份報告。報告中指出了韋敬扔的那兩塊石頭純粹就是誣陷。第一：餘子俊的確有易置邊將的行為，但卻不是個人恩怨；第二：餘子俊對修築長城的費用分文未入私囊。
不過，杜謙雖然給餘子俊洗了清白，卻不能不給餘子俊以罪名，那就是他征集的工程費用和糧食都大大超出了皇帝的仁人愛物之心，所以，有罪。
憲宗皇帝雖然沒有捉到餘子俊的那兩個罪名，但這個罪名就足以讓他有理由治餘子俊的罪。他勒令餘子俊退休。可見，餘子俊所以被驅逐出朝廷，就是因為韋敬的那塊石頭。
如果不是韋敬的那塊石頭，憲宗皇帝不會下令追查此事。那麼，餘子俊征集工程費與糧食超標的問題也不會暴露在光天化日之下。韋敬落井下石的誣陷所以能取得效果，是因為跟餘子俊的工作有關。餘子俊為大明帝國修築長城，以鞏固國防，在一些人眼中，這樣的工作是大有可賺的。而餘子俊在工作過程中為了完成工作難免要有些小瑕疵，這樣的小瑕疵在誣陷者的眼中就很容易被放大成為劣跡斑斑。但餘子俊又不是那種避嫌而放棄為國效力的人，所以，他的被誣陷也就不可避免了。
6、助力的倪文煥
明朝天啟皇帝在位時，不喜歡皇帝的日常工作，而是傾向於木匠事業，大太監魏忠賢以秉筆太監的身份成為明朝那段時期實際的執政者。朝廷上下幾乎所有的臣子都依附於魏忠賢，天啟一朝成了魏忠賢的朝廷。
倪文煥是一位禦史，當魏忠賢飛揚跋扈於朝堂之上時，他並沒有主動去投靠這個大太監。但有一天，一件小事讓他站在了魏太監這一麵。倪文煥的脾氣比較火暴，在某次與一位皇城守卒的交流過程中，他痛打了這位守卒。皇城守卒雖然隻是一個兵，但其身份有象征性，他象征著皇城與皇帝。倪文煥的行為自然觸犯了國家法律，於是，有官員就準備糾舉他。倪文煥恐懼之下找到了魏忠賢的心腹“五虎”之首崔呈秀。二人平時也有往來，倪文煥當然希望崔呈秀能給自己指一條明路。當時，魏忠賢正在朝臣中招兵買馬，崔呈秀就把倪文煥推薦給了魏忠賢。魏忠賢是個權可通天的人物，對倪文煥所犯下的這點罪行輕描淡寫地抹去了。倪文煥為了感激魏太監的幫忙，就認了魏太監為幹爹。自此後，這位魏太監幹兒子的主要工作就是誣告朝中不肯與魏忠賢合作的正直官員，倪文煥的誣陷功夫很是了得，被他誣陷而喪命丟官的多達數十人。但倪文煥誣陷他人手法並不是直接攻擊，而是落井下石。他在這方麵似乎永遠是個安靜的人，他隻是等，先有人站出來誣陷目標，他看時機已成，便從旁助力，也就是我們經常提到的落井下石。