“矧予自思”到“實聞此言”為第四部分。記述詩人平素的嗜好和心境。並決心終老於廬山。並對清泉白石宣誓，正反映了被貶江州後的抑鬱心情。“矧（chěn）”，況，況且。“白屋”，茅屋。一說不施采繪的房屋。總之，指簡陋的房子。“簣（kuì）土”，盛土的竹筐曰“簣”；“簣”與下文的“拳石”之“拳”、“鬥水”之“鬥”，均在形容微小和很少。“蹇（jiǎn）剝”，均屬《易經》卦名，猶言命運遭遇不佳。“佐”，輔佐。“江郡”，即江州。“郡守以優容而撫我”，郡守，指江州刺史，優容，優待寬容。撫，安撫厚待。《舊唐書》本傳記載：詩人到江州後“……追永、遠、宗、雷之跡，為人外之交。每相攜遊詠，躋危登險，極林泉之幽邃。至於然順適之際，幾欲忘其形骸。或經時不歸，或逾月而返，郡守以朝貴遇之，不之責。”“卒獲所好（hào）”，終歸獲得自己所愛好的。這裏言其滿足了愛好山水之癖。“冗員”，指司馬之職無關緊要，閑散無事，如同“冗員”。“未遑”，沒有時間、沒有功夫。遑，閑暇。“異時”，以後的時光。“秩滿”，指任滿。秩，任官的年限。“出處”，猶進退。“清泉白石，實聞此言”，是指對著清泉白石發誓，“實聞此言”，發誓的語氣。
最後一部分，記敘在草堂同僧俗相聚時具齋施茶的具體時間及此記的寫成。“河南”，今河南洛陽。“範陽”，今北京市一帶。“南陽”，今河南南陽縣。元集虛、張允中、張深之，均係當時有學問而未作官的人。“東西二林長老”，即東林寺、西林寺年高德重的僧人。湊公、朗滿、晦堅即僧人名。“具齋”，準備齋飯。“落之”，慶賀草堂落成。
文章以記敘為主，間以議論出之。采取自問自答方式，先敘草堂新成主人之樂。後記草堂所處優雅環境，最後敘僧俗具齋施茶的具體時間、人物，層次既清晰分明，前後又相互照應。在遣詞用語上，以四言為主，三言、五言、雜言鋪陳儒雅，靈活揮灑，挽結收束，照應變化，給人以外適內和、體寧心恬之感，大有留連駐足，不忍離去之情思。
對於這篇文章，六七十年代，在課堂上或詩文選中，認為隻寫出流連風景，樂天安命的消極思想。其實，白居易的“諷諭詩”也好，“閑適詩”也好，形式、手法並不影響內容和思想的表達。直言抨擊故然可貴，而含蓄宛轉也是一種反抗。中晚唐之際，官場傾軋，宦海無情，在無可奈何之下，於靜穆中予以針砭，未嚐不是一種抨擊和抗爭！白氏的五言古詩《香爐峰下新置草堂即事詠懷題於石上》中“興酣仰天歌，歌寄言”、“言我本野夫，誤為世網牽”，“舍此欲焉往，人間多險艱”，寄何言？何險艱？不能苛求古人！