第二段緊承第一段對收藏者的癡情、癡態、癡行進行了進一步的延展和刻畫。他們為書畫“棄軀忘親”，心無旁騖，專心致誌；他們為書畫“椎心嘔血”，可以拋棄一切，甚至生命；他們為書畫“剖塚斫棺”，可謂不擇手段，用盡心思。但是作者蘇軾理解他們，說人世間人們所看重的聲色享樂都不足以吸引他們，轉移他們的誌趣。他們在書畫中所得到的精神享受是連他們自己都無以言表的，其他人就更無法理解他們內心的那份癡情了。作者強調，不理解並不能成為嘲笑他們的理由，更不能成為否定他們的根據。他總結說：“人特以己之不好，笑人之好，則過矣。”這不僅批評了那些嘲笑琴棋書畫愛好者的人們，更將所有的同類嘲笑給予了歸納否定，依然用“笑”字串連，與上文呼應，文氣貫通一氣。
從“毗陵人”到“屬餘為記”為第三段的開端，介紹作記的緣起。本來這裏應該詳細地記述、描繪張希元如何愛好書畫典籍，珍藏了什麼，規模如何。但是作者僅寥寥數筆，便戛然而止。張希元“家世好書”，其風可追；“所蓄古今人之遺跡至多”，多善可陳；“盡刻諸石，築室而藏之”，精神之嘉，可予彰表。蘇軾以“蜀人”“蜀言”為轉接承續，引出對人生道路設計、從業選擇的看法。
諺語“學書者紙費，學醫者人費”的意思是：學習書法繪畫的人，會耗費很多的紙張筆墨；從醫的人初始階段會耗費很多人的性命和健康。為什麼？庸醫誤人。諺語雖非名人名言，但是因為其在民間口頭傳播，有很大影響力。
文末，蘇軾特別鄭重地諄諄告誡張希元：“君知政之費人也甚於醫，則願以餘之所言者為鑒。”那麼蘇軾到底希望不希望張希元從政呢？文章並沒有明確道出，隻是提出了期望和警示——從政非同藏書等個人愛好，關乎芸芸眾生的生死禍福，因而需要如履薄冰、小心翼翼。
表麵上看，蘇軾對行業、職業的評價不甚明確，觀點有些含糊，但這恰恰是對張君明確的提醒，是蘇軾的高明之處。因為從政到底好還是不好，因人而異，關鍵是個人能否把握掌控問題。提出原則，而不給具體結論，其實是最好的答案。
本文以“記”的本色而論，不拘成法，如行雲流水，本應該寫人、寫堂，而本篇文章表麵看從頭到尾全是議論聲；但是細品之下，卻是無一字不是寫人、寫堂，無一字不是記其所應記。文章借對世人嘲笑的議論，記述了建堂所遇到的壓力、阻撓和困難；借對堂主苦惱勸解的議論，記述了堂主為收藏付出的種種代價、犧牲和精神壓力。可謂是層次清晰，節奏鮮明，句句寫堂，句句寫人。
後人評論
楊慎《三蘇文範》卷十四：“此記全學韓文。韓文公序高閑上人，而稱張旭之神於書；蘇文忠公記寶墨堂，而引鍾繇之溺於書；皆含諷刺意。”