張之洞當山西巡撫時，府中轎班有個人叫張彪，山西榆次左輔村人，雖說出身貧寒，但相貌生得不俗，眉清目秀，聰明伶俐，且有一身武功。有一次，張之洞出外巡視，繞著彎曲的山路行進，青藤纏繞，古木參天，途經一座寺廟時，忽然跳出一千人來，領頭的是個身高七尺的壯漢，迎麵攔住張巡撫的轎子，拍著扶手板大聲喊冤。護衛巡撫的侍衛上前去攔，下手重了點，將壯漢摔倒在地，跟隨而來的那些人不答應了，呼拉拉出手，竟與巡撫的侍衛們對打起來。此時江南剛發生張文祥刺馬案不久，風聲鶴唳，草木皆兵，張之洞躲在轎中不敢探頭。雙方打了一陣，侍衛中有人體力不支撒腿逃跑，這隻“領頭羊”啟發了其他人，打鬥中的侍衛們一哄而散，比喊了口令還整齊，隻剩下張之洞一個人孤零零地坐在轎子中束手無策，不知將麵臨怎樣的災禍。
正在危急時刻，轎班中跳出了張彪，抽出抬轎的杠子，秋風掃落葉似的朝那群人打去。穿鞋的怕赤腳的，膽大的怕亡命的，那群告狀的人見忽然跳出了這麼個勇夫，一個個抱頭鼠竄，迅速作鳥獸散。先前逃跑的侍衛這才紛紛回來，張巡撫的官轎終於解圍。
經曆了這場風波，張之洞意外得到了一員愛將，他將張彪在巡防營補了名字，提拔他做了哨官，替他起了個別號叫“虎臣”，派為貼身馬弁，當做自家人一般看待，即便出入上房亦不避忌。
張之洞一生共娶了三房妻子。元配夫人石氏去世時還不到30歲；續弦夫人唐氏也在34歲那年病故了；第三任夫人是名翰林王懿榮的胞妹，娶過門沒幾年又命歸黃泉。此時張之洞已人中年，接二連三的喪妻之痛使他心靈大受打擊，到太原城著名的寺廟玄中寺求卜算卦，一位高僧認為他命太硬，不宜娶妻，若要自己的女人長久，唯有不居夫人名分方可。
經高人指點，張之洞從此便斷了娶妻的念頭，以偷情和泛愛為樂事，張府中的那些丫頭、使女，隻要模樣長得俊俏的，個個都是他的進攻對象。張之洞身邊有兩個丫頭，一個叫遠山，一個叫近水，經常被總督寵幸，張之洞死後，有人作挽聯雲：“魂兮歸來乎，星海雲門同悵惘；死者長已矣，遠山近水各淒涼。”星海、雲門是張之洞的兩個得意門生，聯中巧妙嵌入四個人名，妙趣天成。
在張府眾多丫頭使女中，有個名叫李寶珠的，生得端莊大方，說話辦事均很得體，像個大戶人家出身的小姐。張之洞本想將其梳櫳，可是遭到寶珠婉拒，張之洞和顏悅色問她：“你需要什麼？”寶珠落落大方地說道：“老爺，我什麼都不需要，隻要名分。”這一點恰恰是張之洞所缺的，隻好搖頭苦笑：“這世上的女子，什麼樣的都有，真是千奇百怪。”風月場中有句老話：妻不如妾，妾不如妓，妓不如偷，偷不如偷不著。張之洞之於李寶珠，就是這種偷不著的感覺，因此反倒對她另眼相看。