李敖說：“姚從吾老師有一方圖章，上刻篆文‘從吾所好’。《論語》上說：‘富貴如可求，雖執鞭之士，吾亦為之；如不可求，從吾所好。’大家都以為姚從吾老師好讀書、好學問、好史學方法、好遼金元史。……但是。對我說來，我卻相信在這些以外，他別有一小好，那就是他一直對他一個學生的‘一往情深’。也許真的原因隻是他自己‘霸才無主始憐君’的一種投射，——李敖的霸才真的吸引了他，把他搞得昏頭轉向，從‘從吾所好’轉變到‘從敖所好’，以當仁不讓始，以欲罷不能終，這一生死師徒之情，也真可說是士林佳話了！”李敖用這段話結束了他對姚從吾老師的回憶。
李敖在軟禁期間所寫日記，在被捕後被抄去不少，從殘存的片斷日記裏，可以看到他這一時期的內心活動。摘錄如下：
10月29日
致魏廷朝
魏胖：以下成績，得以具體化，皆拜國民黨軟禁之“賜”也！
一、苦其心誌地鍛煉、更成熟。鍛煉自己可應走難、任大事，並充分做這一準備。
二、專注於世界性大目標地研究，矚目於新世界、太世界。而不斤斤於一個江河日下的政權、一個老人政治、一個小島。
三、對於人情冷暖，有更清楚的測驗。
四、對曾經磨難的榜樣，有更大的興味去體認。
五、能過孤獨生活，且在孤獨中忙個不停，自得其樂，得到不怕孤立的本領。
六、全天候做工，沒有假日。增加了做工的時間，自然效果也相對地看好。
1971年1月2日
致劉紹唐
紹唐兄：我被“軟禁”眼看就快一年了。上月我家發現被偷裝的偵聽器，我不動聲色，把它轉到聯合國人權委員會。警總“抓”我去，逼我繳出銷案。我說這個是要不回來了，等我找到第二個，一定給你們。弄得他們也沒辦法。當天我在“口供”中已明白表示我已無所顧惜，“政府”如想不把人丟到海外，就不要逼我。這次“中國大陸問題研討會”，美國代表們由哥倫比亞大學的奧森伯格出麵，請我吃飯，正是我被抓問後的第二天。當天晚上蔣經國請他們吃飯，奧森伯格們曾以我的處境問蔣是否於人權構成迫害，蔣不否認，但說“Repressive”而已，他的英文可真不錯！我這邊你還是不要采。如有賣書的機會，請代我把握。我手邊有《古今圖書集成》一套，《大漢和辭典》一套，《文星》從刊一套，《文星》集刊二套，《中華古籍》叢刊，《金陵叢書》、《榕村全集》等多套。1971年1月2日夜。敖之。
3月13日
孤寂
孤寂並不是看不到人，看不到“朋友”。在人群中，你常常發現隻有你自己在想你想的，關切你想的。別人的麵孔可能很友善、聲音可能很親切，可是那隻局限於眾生生活與世俗生活，除此以外，他們立刻變得無知、冰冷、麻木。比鄰猶若天涯。相逢如不相識。
孤寂是要自己決定、自己排遣、自已應付難題、自己麵對斧鉞；孤寂是沒有人可以商量、沒有人可以傾心。不錯。你有熟麵孔。可是你怕引起他們的茫然、乏味與醜惡一麵，影響到他們安全，他們有限的熱心與關切，你也不得不拒賄，因為他們太軟弱，他們非但無助於你，反易自傷其手（乃至終於露出人的醜惡一麵，——每個人都有的那躲藏的一麵）。
孤寂是處於荒原，孤寂是獨行墳場，孤寂是在什麼聲音都沒有的時候看月亮。
3月14日
朋友和“敵人”
朋友——亡命的亡命、被抓的被抓、遠揚的遠揚、自保的自保。一兩個偶一見麵的，竟又是來求助於你的，至少是增加你負荷的。總之，此一二偶一見麵者，其見麵也出於不得已。人道如斯，幾乎已令人失去對friendship的信仰了。
“敵人”——環伺也、警告也、幹擾也、窮纏也，迄無止境。他們簡直要變成你的朋友了。“你不跟俺們交朋友？好！俺們把你的朋友全趕走，你不變俺們還交誰？”難道有朝一日，你豈要建立起對“敵人”的信仰嗎？“敵人”至少有一點是值得信托的，——就是他們絕不變，絕不像朋友一般地忘記你。他跟你永不分離。
日記是人心靈最真實、最無私的窗口。從李敖這些片斷的記載裏，我們既看到他軟禁生活的一些側影，也可窺見他心靈的秘密。他對人情冷暖做了入木三分的分析。他歌頌了孤獨。凡是“個人的自大”主義者，都是大孤獨者。李敖也是一個大孤獨者。他獨立於眾人之外、之上。他又為他們著想，不讓他們來看他，怕出意外。在人情上，他是大孤獨者，在思想上，在心靈上，他一點也不孤獨。他站在人們的前頭，給他們指示路徑，也給他們樹立榜樣。這樣的人是無畏的。
日記中有給“紹唐大哥”的信。劉當時是出版界大名人，他辦的《傳記文學》很有名。李敖軟禁以前，在一次閑聊裏，李敖談到查良鑒當了司法行政部長一定比鄭彥棻幹得好以後。劉紹唐說：“敖之啊，你太年輕，對世事有所不知。你以為查良鑒是博士是學者，形象好，能夠推動司法行政，其實不然。他固然如你所說，高於鄭彥棻，但鄭彥棻有一項條件，他卻不夠，那就是黨政關係。鄭彥棻有很好的黨政關係，他搞司法行政，阻力反倒少；查良鑒則不然，他關係不夠，很多良法美意，到頭來都是空的。在國民黨統治下要想做出一點事，關係夠不夠是很重要的。”劉紹唐這一席話，觸及國民黨一黨統治的本質，給李敖留下深刻的印象，他後來專門寫了《憶紹唐大哥的一段話》，記述此事，並說他由這段話想到當時尤清和李錫錕競選一事。以為李雖“無能，但可能具體的搬出幾塊磚頭”，因為他有較好的“黨政關係”，而尤雖能幹。卻“隻能帶我們抽象的做場好夢”。李敖跟劉紹唐訂交於1962年文化大論戰的時候，是由高蔭祖介紹的。