不久後，皇太子李世民又對李玄說道：“秦瓊已對魏征有了畏懼之心，再想借左驍衛大軍敲打魏征，恐不可能。永安王，你智謀高絕，再為孤獻上一計，敲打一下魏征，如何？”
李玄滿含無奈的說道：“隻此一次，不管成與不成，望殿下能夠重用魏征，莫要再為難下臣了。”
李世民爽快的答應了。
李玄獻策道：“京中權貴眾多，依仗於和大唐皇室親戚關係，胡作非為，橫行霸道，臣建議殿下提拔魏征為京兆尹以做整頓。”
李世民麵露喜悅道：“讓魏征和京中權貴對抗嗎？這個主意好，孤就不露麵，躲得遠遠的，孤倒要看看他魏征一介書生怎麼對抗這麼多如狼似虎的京中權貴？”
魏征為京兆尹，初上任，就排定了一個日程表，每一日勘（kan）問一個縣的案子，周而複始，從不間斷。僅僅一個月，就處理了1500個案子，處理往年的積案就高達1200餘件。經他審理過的案子，無論大小，都做到了百姓不再喊冤，權貴土豪不敢再為非作歹。除此之外，魏征還勸課農桑、興修水利、興辦學校、舉薦賢才，造福一方。
魏征心懷百姓，始終站在百姓一方，絲毫不畏懼權貴，更是將生死置之度外，這讓京中的權貴們十分不滿，他們派出了各自的管家，暗中查訪魏征不法的證據，他們不相信魏征會沒有一點兒問題。
數日後，管家們返回，哭喪著臉，向權貴們稟報了魏征的情況：“這魏征實在是清廉，魏征從不乘轎，步行上下班，每天吃的都是青菜蘿卜，除了一套官服，就隻有幾件舊衣服。下班之後，穿著舊衣服，穿梭於市井之間，詢問百姓們衣食住行，政策推行對百姓有何影響。若無人指認，所有人都會以為他是一位進城的老農。他的夫人裴氏在家為他生活做飯，閑暇時，織布販賣，以維持生計；他的學生兼管家卞思去每天都會上山砍柴，以節省柴火錢，在他的院子裏，他還開有菜地，澆水施肥，把菜錢都省了。除了朝廷的俸祿，其他的錢，他都不收，並不準家人收。他沒有應酬，心中有的隻有百姓。”
聽完管家的稟報，權貴們集體愣住了。他們沒有想到這天下竟然還有這樣的人，既不圖升官，也不圖發財，隻想著為那些低賤的老百姓做事的。這樣的人，軟硬不吃，你拉攏不了他，也威脅不住他，你拿他毫無辦法。海納百川，有容乃大，壁立千仞，無欲則剛。這樣的人隻想著為老百姓做實事，沒有其他的欲望，要對付他真的很難。
京兆府，府內的官員剛開始也是苦不堪言，魏征不禁對自己要求嚴格，對身邊的人要求也很嚴格。可是久而久之，所有的官員都對魏征佩服有加。因為魏征不僅對他們嚴加約束，而且對上級也一視同仁。上級前來視察，魏征從不帶他們前往酒家，而是以自己的常餐——青菜蘿卜待之。以至於上麵的官員不到萬不得已，都不願到京兆府視察。月底，京兆府統計出了一個月的財務支出，震撼了整個大唐朝廷，空前絕後、絕無僅有的一兩六錢。這個數字，包括了京兆府一個月內所有的支出，包括車馬費、吃飯費、住宿費、應酬費以及各種各樣的所有的費用，這絕對是一個破記錄的數字。所有人都想不明白魏征到底是通過什麼方式，竟然將國家的錢花的是如此的節省？