劉文彬之所以和許山豹那麼不對付，是因為他倆的家族、家教或者說家風截然不同。劉文彬實實在在地出生於書香門第，祖父劉複之是宣統時翰林院侍讀學士，比張謇年長三歲。光緒二十年（1894）張謇考中狀元時，祖父殿試名列二甲第八名，授翰林院修撰。翰林院在仕途上升遷較其他官員容易，像南書房行走及上書房行走按慣例都由翰林官為之。但劉複之沒能在這條路走下去，他在辛亥革命後閉門謝客，篤信佛教了。小時候，劉文彬印象中的祖父是一個清臒淡雅、卓爾不群的人。那時祖父已經是年逾七旬的老人，崇尚素食，眉眼越來越慈祥。
父親劉無忌曾經對他說過，祖父才不在張謇之下。張謇當年會試，屢試屢敗，翁同龢、潘祖蔭等都對張謇有提攜之意，“期許甚至”卻“薦而不中”，幾次誤把他人卷子認作張謇而取中會元。祖父38歲應會試，翁同龢在場中誤以為他的卷子就是張謇卷子，結果祖父中“會元”而張落第。但祖父為人清高，不屑做張謇替身，辭官不就。光緒皇帝得知內情後也欽佩祖父文人風骨，許他來年再考，這才成就他和張騫光緒二十年攜手高中的佳話。祖父和張騫也是不考不相識。兩人意氣相投，擁戴光緒帝，很快成為“翁門”弟子中的“清流”人物，企圖為虛有“親政”之名的皇帝爭取若幹實權。但“戊戌變法”失敗後，張謇與祖父愈行愈遠。張先是被推為江蘇谘議局議長，後三次發起國會請願活動。1912年，張起草退位詔書，並任中華民國臨時政府實業總長，後又擔任北洋政府工商總長兼農林總長。自此，祖父的話少了，對張謇其人也是避而不談。
祖父六十大壽這一天，門庭冷落，祖孫三人相對而坐。父子對飲，酒過三巡時，祖父跟父親說了一個秘密，張謇起草退位詔書時，他就在旁邊為其研墨，親見其淚如雨下，紙為之濕。劉文彬那時候還小，聽得似懂非懂，隻是依稀記得祖父評價張謇：“似官而非官，似商而非商，既無大權，也無巨富，到底風中人物，不堪定評。”
劉文彬對祖父印象最深的是他去世前兩天的表現。去世前一天，祖父神情嚴肅地捧出他的晚年著作——《素食雜說》，告誡劉文彬父子倆一生必須吃素，同時遠離政治。他還讓劉文彬將《素食雜說》一字一句地念給他聽。
去世當天，祖父似乎有所預感。他專門找出當年穿過如今已然褪色的翰林朝服，正襟危坐地在前廳院中等著。在劉文彬看來，此時的祖父已是外強中幹，思路一會兒清晰，一會兒糊塗。祖父思路清晰時，會很認真地說：“爾等要記住，庚子（1900）年間的翰林院大火，不僅將我大清之輝煌建築焚毀，而且數千萬卷古籍善本也在大火中毀於一旦，僅存副本的《永樂大典》也在其中。國難如斯，痛定思痛，痛何如哉！”這時的祖父會很入戲地捶胸頓足。
過了一會兒，祖父又說：“由科舉至翰林，由翰林而朝臣，是吾輩士大夫之最高理想，皇上，達則兼濟天下，窮則獨善其身。老夫做到了哇！”
最讓劉文彬駭異的是祖父臨終前嘴裏竟然冒出一串文言文：
“前因民軍起事，各省響應，九夏沸騰，生靈塗炭。特命袁世凱遣員與民軍代表討論大局，議開國會、公決政體。兩月以來，尚無確當辦法。南北暌隔，彼此相持。商輟於塗，士露於野。徒以國體一日不決，故民生一日不安。今全國人民心理，多傾向共和。南中各省，既倡義於前，北方諸將，亦主張於後。人心所向，天命可知。予亦何忍因一姓之尊榮，拂兆民之好惡。是用外觀大勢，內審輿情，特率皇帝將統治權公諸全國，定為共和立憲國體。近慰海內厭亂望治之心，遠協古聖天下為公之義。袁世凱前經資政院選舉為總理大臣，當茲新舊代謝之際，宜有南北統一之方。即由袁世凱以全權組織臨時共和政府，與民軍協商統一辦法。總期人民安堵，海宇乂安，仍合滿、漢、蒙、回、藏五族完全領土為一大中華民國。予與皇帝得以退處寬閑，優遊歲月，長受國民之優禮，親見郅治之告成，豈不懿歟！欽此。”
劉文彬感覺，祖父在念到最後一個字時，一直昂著的頭，歪了，但是身子不倒，兩眼依舊圓睜，或許那是他念“親見郅治之告成，豈不懿歟”太過激動時使出最後力氣導致無法合眼。父親劉無忌伸出手，替祖父合上雙眼，歎一口氣：“《清帝遜位詔書》，老爺子背得一字不差。唉，一輩子嚷嚷著遠離政治，到了還是離不了，還是耿耿於懷呀！……”
劉文彬看到，父親的手離開之後，合上雙眼的祖父身子一歪，轟然倒地。父親呆立良久，和他一起注視宛如一段枯木般橫躺在地上的祖父，然後說了這樣一句話：“走了好，走了輕鬆，黃泉底下，翰林香火綿綿不絕，老爺子得遂心願了。”
劉文彬沒想到，祖父去世後，父親竟然性情為之大變。他不事生產，隻喜遊山玩水。正所謂腳著謝公屐，天下任我行，幾年時間裏他已遊遍泰山、峨嵋山、終南山、羅浮山、天童山、溈山、普陀山、廬山、衡山、青城山這十大名山。父親遊山還有說法，自稱“十頂遊蹤”，也就是十度登峰造極的意思。父親其實也有些才的，比如山水詩就寫得很有特色，“十頂遊蹤”後，他留下“十頂遊蹤詩”，像什麼：“一雲一石還一鬆，一澗一瀑還一峰，一寺一橋還一鍾。”“青山無一塵，青天無一雲。天上唯一月，山中唯一人。”“此時聞鬆聲，此時聞鍾聲，此時聞澗聲，此時聞蟲聲。”劉文彬讀了，真是啞然失笑。