抗戰勝利以後，蔣介石打算結束他的侍從室。侍從室二處主任陳布雷把唐縱找去談話。陳麵色蒼黑，似乎飽經滄桑，而身體很瘦弱，說話常咳嗽。
陳布雷問唐縱：“侍從室結束後，你有何打算？”
唐縱回答：“戴雨農說歡迎我去軍統當副局長，但我不願去。”
陳布雷點點頭，說：“我知道你的素誌是在政治上發展，也很有這方麵的才能。你魄力不及戴笠，最好不去軍統。”停了停，又問：“你對抗戰八年來有何看法？”
唐縱在這方麵思考很多，因此侃侃而談：“抗戰八年，發生了許多嚴重問題。這些問題的來源，一則由於曆史的積病，一則由於人為不善。人為不善是由於違反革命的原則，今天許多問題都牽涉到基本問題，動動小處無濟於事，動到大處，則顧慮太多，危險愈大，所以牽到根本問題就打消了。這些基本問題，如果沒有革命精神，是不會有決心的，無論製度、人事、理論莫不如此。”
陳布雷聽了沉默，過了一會，喟然有感地說：“我對不起領袖，這些事領袖多交給我做，可是我都打消了。我也知道這是一個錯誤，想改，可是改不過來，也許是身體的關係，也許是性格的關係。”
唐縱不知道該說什麼話安慰他。
談到最後，陳布雷對唐縱說：“侍從室取消後，領袖一定有更重要的工作交給你去做，
你一定要有所作為。”
唐縱表現得很堅定地說：“陳主任，請放心。”
陳布雷歎道：“我們老了，革命要靠你們年輕人。”
唐縱本身為蔣介石的情報總管，再兼軍統局幫辦，威權之大，不言而喻。然而，唐平時埋頭苦幹，嚴守秘密，既不願外出拉關係，出風頭，也不願卷入貪汙舞弊事件，故生活常有捉襟見肘之感。1943年底，唐縱在日記中寫道：“私人經濟，負債1萬元。全年生活尚過得去，至年底生活更形困難。”
唐的黃埔六期同學沈重宇任重慶長江實業銀行董事長，為了讓“老大哥”免受“孔方兄”的氣，有意聘請唐為長江實業銀行掛名董事，每月贈送一份“幹薪”，唐總是不敢接受。沈深知唐是不願直接掛出自己的大名，靈機一動，就以唐的兒子唐雪東為掛名董事。結果，一個五六歲的孩子，竟然成了陪都金融界中人物。作為一種交換，沈重宇後來由唐縱一手推薦提攜，進入侍從室，成為少將高參，一躍而成為國民黨“內廷”人物。唐縱為了一點蠅頭小利，還要如此戰戰兢兢的，這也就不容易了。
陳布雷曾這樣評價唐縱：“公正恬淡，不與人爭權爭勢”。可見，在這一點上，陳布雷對唐縱亦有很深影響。
果然，1945年一個慘淡的冬日，蔣介石終於決定結束他的侍從室，改在國民政府參軍處設立軍務局，把原來侍從室的工作大部分繼承下來，以他的親信俞濟時任局長。唐縱則被蔣介石特別調升為參軍處的中將參軍，除了依舊為蔣主管全國網羅來的情報外，還兼管有關警政、保安等其他機要文件。