三個故事，一副藥引，開出的配方竟是一劑泄藥，最後硬是要了端老四的命。細分析一下，端方的病根在於既想走官運，還想走桃花運，無奈一旦沾上了“女色”二字，官運也就直線下滑。
在端方擔任兩江總督期間，還有這麼幾件事，因為和他後來的命運有關，值得一敘。
第一件事，是幫了袁世凱一個大忙，得罪了晚清官場另一個大腕。此腕名為岑春煊，慈禧太後眼皮底下的大紅人，為配合老袁扳倒岑春煊，端方讓其手下通過新式照相技術將岑春煊和革命黨梁啟超的相片拚湊成一張照片，慈禧太後看了惱羞成怒，直接導致岑春煊官場失勢。
第二件事與那桐有關。端方在兩江總督任上，不僅和北洋大臣袁世凱度過了一段政治蜜月期，與南洋大臣張之洞也打得火熱。是時南洋新軍需要大批軍械，端方和張之洞相互援手，換背擦癢，把這樁大肥差當做端、張兩家的自留地，苦心經營，成效卓著，搞得兩人腰包都脹鼓鼓的。
身在京城的那桐也想從中分一杯羹，先是將端方之子調入外部，補為參事，暗示將此作為交換條件，順便提出他在上海有個商人朋友，以後可能會少不了添麻煩，請多關照。誰知道端老四故意裝糊塗，給那桐發了封電報，除了對那桐安排其子表示感謝外，對代辦槍械之事閉口不提。那桐再發電報，直截了當地開口，說上海那個商人朋友想代辦南洋軍需槍械，請多幫忙。端方回電報說，最近沒有添置軍需槍械的計劃，等以後有了機會，自會多加留意。
就在那桐收到端方的電報後不久，上海的那個商人朋友寫信來，言辭間充滿憤懣，說他遵囑前往總督府拜訪，一連三次都吃了閉門羹，端總督根本不買那相國的賬。信中又說，就在前幾天，雲貴總督李經羲還托端方采購二百萬兩的軍火，端方另找商人議購，不理他的茬兒。讀了這封信，那桐心裏的滋味可想而知。
第三件事其實是件小事，但在一些關鍵時刻，小事也會成為壓垮駱駝的最後一根稻草。榮慶與端方是兒時的朋友，兩人關係一直不錯。在端方任兩江總督時，榮慶聽說了這位風流公子的一些桃色緋聞，出於好心提醒了幾句，端方大不以為然，反過來好一陣奚落，把榮慶說成是落後於時代大潮的老古董，搞得榮慶心裏頭很不舒服。
第四件事，就是前文提到的楊崇伊江南搶雛妓事件。
宣統元年（1909），端方調署直隸總督，一般人都認為他將要行大運了。豈料福兮禍所倚，就在端老四躊躇滿誌之時，厄運從天而降。
端老四出洋考察時，從美國帶回來一台照相機，愛不釋手，不分場合到處顯擺。這麼一來，攝影愛好者端方又結識了一批藝術圈的新朋友，其中有個尹紹耕，是天津東馬路福升照相館的老板，此人給端老四惹出了一場大禍。
慈禧太後駕崩後，靈柩安於東陵，擬舉行“奉安大典”，尹老板很有搶新聞鏡頭的商業意識，計劃將奉安大典全過程拍成係列照片，留下珍貴的曆史記憶。端方感覺這個想法很有創意，自然鼎力相助。大典那天，尹老板邀集一幫攝影青年，拉上全部照相器材，沿途抓場景搶鏡頭，舊時的照相機特好玩，隻聽“砰”的一聲，平地騰起一團白煙，“百官鹹集，萬目共睹，莫不詫異”，正拍得起勁，幾個兵丁持洋槍上來將尹老板等一千攝影青年拘捕入獄。
這是一起荒唐的大冤案。尹紹耕和他的胞弟尹滄田被判處監禁十年，其餘幾個攝影青年分別被判三年五年不等，負責陵園警衛的直隸戈什哈也跟著倒黴，被判終身監禁。醉翁之意不在酒，對方真正要攻擊的目標是端老四，尹紹耕兄弟和戈什哈白白當了犧牲品。
參劾端方的人是李國傑，此人是李鴻章的孫子，清末任農工商部左丞，娶的妻子是楊崇伊的大女兒，即才女作家張愛玲筆下的那個“大奶奶玳珍”。嶽父大人在蘇州遭端方羞辱，碰到這麼好的機會，豈有不報仇雪恨的道理？
李國傑連夜寫好奏折參劾端方：陵園砍樹破壞了清廷風水，照相更是攝走了皇室的魂靈，且乘坐轎子橫衝神路，頤指氣使，不可一世。為了把戲演得更逼真，李國傑跪在隆裕太後麵前伏地哭述：“剛剛經曆了國觴，幼主新立，而疆臣跋扈至此，這個人壓根兒就沒把太後和幼主放在眼裏。”在處理時政大事上，隆裕太後比慈禧太後差遠了，聽說有人沒把她放在眼裏，積壓已久的怨氣像點燃的火苗立馬升騰上來，發話“交部嚴議”，要給端老四一點顏色看看。
朝廷裏的幾位大臣此時一個也不肯幫端老四說話，榮慶跪在地上連連叩頭，嘴裏疊聲道：“太後聖明！太後聖明！”不發表意見就是讚同，官場上的玄妙之處就在這兒。另一位大臣那桐佯裝同情狀：“這個端老四，如何糊塗至此，連老祖宗的風水也不放在眼裏……”隆裕太後見端方的兩位好友是這個態度，處理起來更是毫不手軟，一擼到底，將正二品的直隸大臣降成了一介平民。