第一節無官身輕，閑賦金陵
對於一個從權力頂峰跌下來的王安石來說，雖然得到朝廷恩賜的這些榮譽和頭銜在當時的北宋是史無前例的。但這些榮寵並沒有任何的實際意義。他雖然照例要上表謝恩，照例與同僚權貴作些文字酬酢，照例要將感激君恩的心情形之於詩文，以便傳之於神宗，使之理解老臣的知遇之恩。但是王安石的退休生涯，並不真正是輕鬆的、無憂無慮的。他的內心不可能像詩歌那樣歌頌聖德宏恩和描繪變法換來的人間春色，而是充滿著進也憂、退也憂、憂君憂國憂變法，也憂自己的老來失子，晚景空虛之情。
熙寧九年十一月十二日，王安石已經56六歲了。在初冬的蕭瑟冷落，颯颯秋風和滔滔江聲中，他攜帶全家老幼與兒子王雱的靈柩，低調地回到了江寧府。
賤貧奔走食與衣，
百日奔走一日歸。
平生歡意苦不盡，
正欲老大相因依。
空房蕭瑟施繐帷，
青燈夜半哭聲稀。
音容想像今何處？
地下相逢果是非。
兒子王雱的死對王安石的打擊是巨大的，兒子英年早逝，對一個年近花甲的老者來說，喪子之痛使他變得更加蒼老，皺紋早已爬滿了臉，頭發也已大半蒼白，稀稀疏疏地被盤成了一個花白的發髻，此時五十多歲的王安石，若以今人的眼光來看，正當有為之時，可是這時的王安石卻似一個年逾古稀，瘦骨嶙峋的人。此時的他再也沒有了熙寧變法失敗時的憤懣和抑鬱，沒有了任何東山再起的想法，剩下的隻有悲涼地度過餘生地想法和喪子之痛。回到江寧後，王安石葬子於蔣山腳下，建祠於寶公塔院，並為超度亡魂而幾次舉行道場，也許是在超度自己痛楚的心靈吧！有野史這樣記載：王雱曾娶同鄉龐氏的女兒，年後生有一子，因不肖而虐待致死；也有的說王安石見王雱夫婦反目不和，就擇婿遣嫁兒媳；又有的說王雱死以後，安石的兒媳先捐地千頃於寺庵，而後遁入空門為尼。
早在王安石歸江寧之前，就曾托朋友在江寧城外白塘購置田產，本想在此築園安度晚年，怎奈世事難料，不過傷心人還是回到了這片安寧之地。他所購置的這片地在江寧城東門外至蔣山的半道上，這原本是低窪積水之地。在外人看來，這裏距離江寧城很遠，交通不便，偏僻荒蕪。但對於王安石來說，安寧清淨才是他最終選擇這裏的原因。回顧自己的前半生，有過成功，有過失敗，在把這一切都看淡之後，他太需要一片寧靜之地來撫慰自己的心靈，他太需要呼吸一下新鮮空氣了。而且在據此地不遠的地方，就是很有名氣的謝公墩，據傳曾是東晉名相謝安的故居，這也是王安石經常去小坐之地，並且附近還有孫權墓，以及定林寺等。了解了這些，也就不難理解王安石為什麼會選在這裏了。
選定好地方以後，王安石就開始營造自己的宅院，他發現做這項工作能夠讓他忘記之前的種種和喪子之痛，於是漸漸地愛上了這項工作。他覺得設計一個園林確實要比治理一個國家簡單容易得多了，而且他可以自行決定在哪建屋，在哪種樹，這樣的自由正是他所向往和追求的。建成之後，王安石題為半山園。他在《示元度》中曾為營居半山園而賦詩一首：
今年鍾山南，隨分作園囿。
鑿池構吾廬，碧水寒可漱。
溝西雇丁壯，擔土為培塿。
扶疏三百株，蒔楝最高茂。
不求鵷鶵實，但取易成就。
中空一丈地，斬木令結構。
五楸東都來，斸以繞簷溜。
老來厭世語，深臥塞門竇。
贖魚與之遊，喂鳥見如舊。
獨當邀之子，商略終宇宙。
更待春日長，黃鸝弄清晝。
意思是說，自己在鍾山南麵營居半山園，雇人建屋修池，開溝引水，種植樹木，不求奢華，隻求有一棲身之所。半山園雖簡陋，卻溫馨舒適，王安石非常滿意。為此，他還寫有很多詩來讚美半山園，比如在《浣溪沙》這樣寫道：
百畝庭中半是苔，門前白道水縈回。愛閑能有幾人來？
小院回廊春寂寂，山桃溪杏兩三栽。為誰零落為誰開？
王安石在半山園中過著遠離政治，遠離塵囂的田園生活，每天自娛自樂，讀書寫字，內心的悲痛漸漸得到了平複。他最終才明白，自己需要的就是這樣的生活，安靜悠閑，遠離紛擾。回想自己的過去，他的內心多了一份淡然，自己畢竟是一介書生啊，每天舞文弄墨，讀書養性才是他最終的歸宿。此時的他和老妻靜靜地過著陶淵明式的恬然生活，所以這一時期他的詩作，處處都有著陶式風格。
《懷古二首》雲：
（一）
日密畏前境，淵明欣故園。
那知飯不賜，所喜菊猶存。
亦有床座好，但無車馬喧。
誰為吾侍者，稚子侯柴門。
（二）
長者一床空，先生三徑園。
非無飯滿缽，亦有酒盈樽。
不起華邊坐，常開柳際門。
漫知談實相，欲辨已忘言。