後來，湯若望為了表示自己對於潘盡孝的信任與依戀，又把潘盡孝之子正式改名為湯士弘，過繼在自己名下為義孫。
安文思生前具有“正直誠實”的品質，他的持戒嚴謹曾經被耶穌會中華教區的傳教士譽為一個標兵。如果說安文思全然是無中生有地惡意中傷湯若望，這個可能性基本上不存在。
於是，湯若望白璧無瑕的聲名，在一刹那間，卻有了一種危影兀兀欲墜的崩削如壓！
不久，有關湯若望沉迷於淫樂、追求肉欲的傳聞，便斷斷續續地傳入宮中，順治帝在皇額娘孝莊太後跟前提起這件事情，心裏異常難過。
這樣，自順治十五年（1658年）以後，孝莊太後、順治帝母子跟湯若望之間的關係便漸漸地冷淡下去。
坊間有一段流行甚廣的野史：
說是順治十六年二月，鄭成功策動了其在大陸羈留期間，最後一次的大戰役——長江戰役。當時，清軍主力正大舉圖謀西南，永曆小朝廷的敗局已定。清政府在江南南京一帶的軍事布局卻十分空虛。鄭成功瞅準了這個空當，出動了三千多艘船艦、十餘萬兵力，溯長江炮聲隆隆地向上挺進。鄭成功的軍事口號很豪邁：拿下南京城，推翻清王朝！
因此，湯若望後來繪聲繪色地說：年輕的順治帝乍一聽到鄭成功的口號，當時就嚇傻了。他吵吵嚷嚷地說：不得了，南方的天要塌了，趕緊把中央政府搬遷回遼東。事情驚動了老辣成精的孝莊太後。孝莊太後頗為不屑地啐了順治帝一句：你不要這樣窩囊廢好不好？誰見過天真的塌下來了？於是，惱羞成怒的順治帝便坐不住了，他白淨的小臉漲得緋紅。口口聲聲地說，要禦駕親征，跟鄭成功大幹三百個回合。這自然是撒小孩子脾氣，可是當時無人能勸。勸阻的滿漢大臣去了一撥又一撥。順治帝玩這個遊戲上癮了，索性“刷”地一聲，把禦座前一把長劍拉出來。瀟灑一個造型，把禦座的一角劈了。順治帝聲音洪亮地宣布：誰要是再敢勸我，下場猶如這禦案！孝莊太後終於沒轍了。於是，請來大王牌湯若望。湯若望趕到宮中，抹了一把熱汗，跟順治帝說，哪怕順治帝把自己剁碎成了肉末蒸湯喝，他也必須進諫諍言，請順治帝放棄不顧全局的打算。順治帝在湯若望的勸說之下，最終宣布不再親自上陣前線。宮中的一場暴風驟雨竟然彌散於無形，太陽再一次普照大地。
真實的情況是，鄭成功長江之役最初的聲勢，真的如江水的汪洋漲溢。沿長江兩岸的人民一時俱震動了。隻是，鄭成功在麵對南京城的擁危自雄時，卻攻城乏術。鄭成功的水軍，始終未能克服自己陸地攻堅的致命弱點。鄭軍十數萬人馬，人影冉冉地陳兵於聳亙危削的南京城下。七月中旬之後，南京城內的兩江總督郎廷佐，好整以暇地等來了蘇州水師總兵梁化鳳、巡撫蔣國柱以及從北京馳援而至的由內大臣達素、固山額真索洪、護軍統領賴達率領的滿洲鐵騎等各路的援兵，鄭成功的攻勢立即像風一般的吹過了。清軍的反擊節奏感甚強，鄭軍的失敗一瀉千裏！長江戰役失利之後，鄭成功在福建、江浙沿海地區的軍事實際上已經失去了回旋的空間。於是，鄭成功轉而進入了規複台灣的時期。
所以，湯若望苦勸順治帝打消親征念頭之故事，僅見於德國人魏特所作的《湯若望傳》一書。魏特此書中的湯若望，猶如孝莊太後、順治帝母子生命中的一盞神燈，照到哪裏哪裏亮。
不管別人信不信，反正筆者是不太相信的。