麵對群臣的消極，趙很氣憤又很無奈。當工部尚書戚亞卿在朝會上奏請對臨安城進行改造，以減少對城市的汙染時，立刻引發了爭論。他們以為此舉太過擾民，不宜打動幹戈，可以對城中的河道進行清淤，垃圾清理即可，而非對整體進行改造。
除了這些進行修修補補的意見外，有人以為當前財政狀況剛剛好轉，便耗費巨資對臨安城進行改造，實是勞民傷財之舉；還有人認為既然‘收複中原，驅逐韃虜’是當前的主要任務，那麼還都汴京是必然的，再對行在進行大規模的整修，根本沒有必要；另有人甚至眼，當年高宗皇帝定行在於杭州，是經過高人指點的，山水、建築皆有說法，不可輕易變動。
大家其實也知這是小皇帝的主意，但是不敢針對趙，便轉向了工部尚書戚亞卿，紛紛上奏彈劾。言其好大喜功，為成就自己之名，蠱惑皇帝修城。而這還是客氣的，有臣僚直言其是以造福於民為名，實則是為中飽私囊，從中收取好處。更有甚者彈劾其是此舉包藏禍心，欲借此挑動民心，陷皇帝於不仁不義，乃是朝中奸佞。
好在幾位執宰及眾臣還算清醒，他們當然清楚收複中原非是一朝一夕的事情，即便三兩年之內能夠做到，但是選定新都，營造宮室，再到入住也需要漫長的時日。而臨安城已經如暮年的老者，已經無力承受城市的發展所帶來的日益沉重的負擔，堪待需要整修。但他們更傾向於對局部進行整修，可對城中的手工作坊進行搬遷，對河流就像疏浚，對‘過當拆屋’還是持保留意見。
而執宰們給出的原因也難以讓趙反駁。一者大規模的改造花費甚重，可當下既要支撐長江防線，又有援西和征大理兩場仗要打，但國庫積蓄甚少，不足以支持，所以改造可以分步進行；二者如此大的工程必然要調動人力，則不免會影響到夏收夏種，進而加重百姓的負擔。
第三點他們雖然沒有明說，可意思趙也明白。清理侵街，朝野皆知阻力非是來自民間，其實是朝中的官員和權貴。所以‘過當拆屋’就是個地雷，誰踩傷誰。且本朝的皇帝幾次欲做，結果铩羽而歸，因此勸他也就不必再去碰釘子了，倒是弄得他下不來台不說，還給自己樹敵。
趙覺得話都是好話，可聽著就不入耳。而本應主持此事的工部尚書戚亞卿也是顧慮重重，自己現在不僅成了朝野上下的公敵，且連番被彈劾，弄得他身心疲憊，可又不敢違逆他，急火攻心之下犯了病，請假在在家養兵。趙明知道其得的心病，意在規避此事，可他也無可奈何，自己總不能逼著個‘病人’工作吧！
眼看著自己繪製的‘藍圖’還未定稿便有被束之高閣的危險，趙能不惱火嗎？可上上下下的對此事都消極怠工，又讓他覺得眾怒難犯。要是真因為此事與眾臣翻臉，強力推行自己的‘善政’，又顯得有些不值當，還會讓人以為自己是孩子，行事不夠穩重，喜歡意氣用事，成了日後他們敲打自己的小棍兒。
既然打定注意，趙又豈肯是輕易放棄的人，既然眾臣以‘過當拆屋’擾民，易激起民變為由阻止改造，而對工坊外遷和疏浚城中的河流沒有多大意見，那麼他就決定先易後難，逐步啟動改造工程，他不信自己就治不了這幫人了。當下正是雨季，截留對城中的河流疏浚顯然不是最好的時候，且是新幣開始發行的當口，也不宜進行拆遷，那麼就以工坊拆遷為開幕戰。
至於人手不是問題，他早就想好了。黃海之戰中俘虜了二萬多敵軍還圈在江口外的小島上進行改編，而按照慣例這些俘虜軍是不會被編入戰鬥部隊的，一般會被編成輜重軍從事‘急難險重’的任務，比如開礦、冶煉、曬鹽、修造及興修水利等勞役等工作，現在正好能派上用場。