然而，在張愛玲的《對照記》裏，我看到他唯一的一張照片，正是流放歸來時所照，非但不像我想象中那麼清臒-我總有個偏見，清臒的人才能智慧-反而有點兒腦滿腸肥之相，目光呆滯地望著前方。張愛玲說，畫中人眼梢略微下垂，一隻腳往前伸，像就要站起來，眉宇間也透出三分焦躁……眼睛裏有點兒輕藐的神氣。也或者不過是看不起照相這洋玩意兒。
他的老友陳寶琛也對他容顏盡改而感到吃驚：夢中相見猶疑瘦，別後何時已有髭？他年輕時可能沒有這麼胖，也沒有這兩撇小胡子。當然，肥胖和小胡子都不能說明什麼問題，最多不過顛覆了我心中的行者形象而已，可是，除了外表，他的內心，也與往日迥然有異。
當初的他，激揚文字，指點江山，狂歌痛飲，意氣風發，便是對他還算佩服的李鴻章，私下裏亦可以肆意針砭，畢竟他倆一清一濁，並非全然的同道。現在，他官場中箭，落魄歸來，投到李的門下，承他不棄，依舊對他高看一眼，還把女兒許配給他，可是，內心張狂如他，如何能扮演一個馴服懂事乖巧周到的女婿？何況李家還有上下人等，不是所有人都有李鴻章的卓越眼光，李家的大少爺李經方就對這位妹夫十分看不上眼。寄居在李鴻章的直隸總督府之中，置身於那樣的眉高眼低之下，真是別有一番滋味在心頭。
李鴻章有時也會谘詢他對於時政的看法，開始，張佩綸還願意說說，但他很快就發現，他的說法絲毫不能影響李鴻章，他們對很多問題的看法都截然相反。若是在意氣風發的過去，這些分歧也許不算什麼，他內心的強勢使得他能夠做到和而不同，而現在，不一樣了，他受李鴻章天高地厚的恩，應該扮演好一個優秀的幕僚，提出的主意不被采用，自然有種挫敗感，可能，還會感到某種恥辱。
他漸漸地沉默了，在李鴻章的府第裏，刻意地將自己隱遁，甚至李鴻章的七十大壽，闔府上下張燈結彩，袞袞諸公絡繹不絕，連皇上和太後都送來了匾額賀禮，真個是鮮花著錦，烈火烹油，張佩綸卻躲在房間裏，和李菊耦下了一天的棋。誰會喜歡這樣刻意反高潮的人？除了對他無比欣賞的李鴻章，李家的人很難喜歡這位“古怪女婿”。
最討厭他的，還是前麵提到的那位大舅子李經方。張佩綸貌似低調，俯首斂眉之間，卻有一種讓人很不爽的堅硬。他深刻地得罪李經方，是在甲午年間，當時中日雙方各自屯兵朝鮮，戰爭一觸即發，中方有將無帥，李經方躍躍欲試，而張佩綸以自身經驗知道，李經方也不過是紙上談兵，一旦掛帥，十分凶險。他堅決地向李鴻章提出了反對意見。
這事最後是被攪黃了，李經方的惱怒可想而知，以至於有他要“手刃”張佩綸的說法。此說真偽且不必細辨，估計李大少知道在老爹麵前說道沒用，索性輾轉到皇上那兒放水，光緒帝於是降下旨意，說“革員”張佩綸發遣釋放之後，又在李鴻章署中，幹預公事，屢招物議，實屬不安本分，要李鴻章立即把他攆回老家去，不許逗留。
張佩綸已經在學著沉默了，但還是沒忍住，“非如此不可！”這旋律是不是一直在他腦海中回蕩，讓他忘記自己的尷尬窘迫，艱難但又堅定地，發出聲音？
李鴻章上折辯護無效，張佩綸隻好離開，不過他沒有回原籍，而是帶著老婆孩子去了南京，小舟從此逝，江海寄餘生，花遮柳掩的江南，適合棲息疲憊的靈魂，張佩綸自言：從此浪跡江湖。
是有很多文人，經曆過這樣的路途，從“熱中”的朝臣，到淡定的隱士，比如詩人王維，亦有過意氣風發的年輕時代，帥哥，才子，狀元，高官，站在人生的製高點上，應有盡有。然而，一場安史之亂，以及延伸出的變故，改變了他的走勢，他決然地從喧囂中轉身，與山水草木耳鬢廝磨。
張佩綸似乎也想走這條路，他和李菊耦感情之好是公認的，日記裏亦常有兩人飲酒煮茶賭棋讀畫的記載，還合著武俠小說《紫綃記》及食譜一部，雖然在張愛玲眼中，那小說枯燥無味，食譜也乏善可陳，但舊時婚姻，能夠如此和諧，已經難得。不過，我總覺得他是在刻意“秀恩愛”，不能夠意氣風發，那就走風雅閑適路線吧。可是，到底，他也沒有因為這美滿姻緣而變得快樂強大起來，陰鬱的表情，幾乎貫穿了整個晚年。
張愛玲說她祖父母在南京蓋了大花園偕隱，詩酒風流，“我姑姑對於過去就隻留戀那園子，她記得一聽說桃花或是杏花開了，她母親就扶著女傭的肩膀去看。”這宅子原是一座侯府，按現在的話叫二手房。民國時候，剛搭上張愛玲的胡蘭成感覺良好，也當自己是個“高幹子弟”了，興頭十足地跑去懷舊，卻見“一邊是洋房，做過立法院，已遭兵燹，正宅則是舊式建築，完全成了瓦礫之場，廢池頹垣，惟剩月洞門與柱礎階砌，尚可想見當年花廳亭榭之跡”。