魏公正對劉旭這種大事不報告，小事經常鬧的做法非常不滿，曾經有一次對別人發泄說：“我這個主管財務的副局長還不如一個處長說話管用，要花個錢還得找他去批，這像什麼話。”
這個話傳到劉旭耳朵以後，在一次財務會議上,他借著審批簽字的機會對恭維他“財務一支筆”的人不鹹不淡地公開回應說：“我能有什麼權利，不過是為領導和群眾服務罷了，誰都覺得權利好，但是不當家不知道當家的難處。有人眼紅氣熱,他哪裏知道這後麵的責任有多重。”
魏公正有時候也想改變這種當家做不了主的現狀，但是，努力了幾次也沒有什麼結果，總是以失敗而告終。屢敗屢戰之下，魏公正始終不死心，總想找個機會打個翻身仗。
有一次，魏公正受吳衛紅的委托，找檢查分局的胡建設副局長談工作，要求他們要加大執法力度，減少“人情案”，該處罰的一定要處罰，爭取多入庫一些罰沒款。
談完了工作，魏公正順口問胡建設，檢查分局有什麼困難需要局裏幫助解決。
胡建設是個基層上來的幹部，圓圓的臉，蒜頭鼻子肉泡眼，大嘴岔子扇風耳，好說好鬧，見魏局長讓自己提條件，急忙借機抱怨說：“檢查分局經常對口接待外省市的客人，請客吃飯、參觀購票、買一些禮品是避免不了的，現在強調廉政，所以我們也要求幹部不能幹違反紀律的事兒，可是不能兩頭卡我們呀。
局裏老是嘴上說給我們創造條件吃偏飯，但我們就像拉磨的毛驢，眼前吊著一個大胡蘿卜，光聞著香味跟著轉彎兒，就是吃不到嘴裏。
而且檢查分局和局裏辦公不在一個地點，工作性質與局裏還是有一定區別的，花個毛八分的每次都要去行財處請示，太不方便了。”
胡建設覺得意猶未盡，又掰著指頭和魏公正算了一筆細帳：我們檢查分局每年都上繳財政罰沒款5000萬元以上，如果財政按照30%以下的比例返還給局裏，怎麼也得1000多萬。大家都說，我們為局裏掙了這麼多錢，一分錢也花不著，也太不公平了，應該給我們檢查分局一些財務權利。
魏公正一聽胡建設和自己算變天帳，板起臉就把胡建設訓斥了一番：“怎麼沒有給你們吃偏飯？上次局黨組全體成員出席請檢查分局處以上幹部吃飯，吳局長還把自己珍藏多年的茅台酒都拿出來請你們喝，你去問問？局裏哪個處室有這個待遇？
別剛有點成績就翹尾巴。再說了在哪個處室幹這是革命分工不同，誰當這個檢查分局的副局長都是一樣，你以為就你臭胡能幹，別人都幹不了啊。告訴你，換了別人沒準幹的更好呢。”