茫茫乾坤歸何處？他思前想後，看來京城內是決計待不下去了，隻有出城了。那麼，舉家歸營吧！原來清朝時候，凡是在旗的人，當他在外邊混不到事由了，唯一的歸宿就是拔旗歸營。
清兵入關，曾瘋狂實行圈地，除了皇室占有的稱皇莊，官僚貴族占有的稱官莊，一般旗人所得的分地則稱旗地。
北京西郊所圈占的旗地，按八旗的名稱劃分區域，每區都設有專人管理，稱為旗營。原屬於哪一旗的人，拔旗歸營後就隻能回到哪個旗的旗營內。曹家隸屬於正白旗。
在一個風雨飄搖的秋日，曹雪芹打點行囊，攜著妻子回到西郊香山附近正白旗村落了腳。曹雪芹初到香山時，按照旗營的規定，他每月尚可以領到4兩月例銀，每季支領17石米，另分草房3間。
這點進項，生活用度自然很拮據。不過，這裏沒有城裏的喧囂，沒有烏煙瘴氣的人事糾紛，倒也落個清靜。
清秋時節，香山一脈楓葉染丹，與黃櫨樹金色的樹冠錯雜交織，遠遠望去，像一副織錦掛毯。
正白旗村也滿種的是黃櫨樹，如果站在山頂往下看，就像誰撐起的一把金傘，故又稱黃葉村。敦誠在《懷曹雪芹》詩裏曾詠道：
勸君莫彈食客鋏，勸君莫扣富兒門。
殘杯冷炙有德色，不如著書黃葉村。
這些詩句，正是對曹雪芹拔旗歸營回到西山後的思想和生活風貌的寫照。
他的《石頭記》在右翼宗學裏並沒有寫完，一些已經寫下來的章回，還有不少地方空著待補。曹雪芹的創作態度一向是很嚴肅的，一句詩斟酌未穩，一個情節甚至一個細節還沒有十分把握住，他就空起來，待思慮成熟之後，再回頭補上。
他是經曆過大富大貴的人，但在飽經滄桑以後，已經體會到這人間的悲苦、世態的炎涼。他開始對過往的一切要重作思考，重新評價了。
在右翼宗學與友人交遊中，他了解到了更多的與他相近人家的盛衰變遷、坎坷際遇，這使得他能夠跳出僅僅局限在自家經曆的小天地裏，把《紅樓夢》裏所寫的人物、事件，放到曆史社會的大背景下來觀察把握，深一步挖掘出它的悲劇意義。這就促使他必須繼續積累生活素材，邊寫邊改。
《紅樓夢》第一回作者自白：“曹雪芹於悼紅軒中披閱十載，增刪五次。”這就證明這項浩大的工程，是在他晚年貧居黃葉村時最後完成的。
黃葉村厚待了作家。盡管生活是十分清貧的，有時候不免舉家食粥，但是，農民的真誠，民風的淳厚，給曹雪芹的思想與生活打開了一個新境界。
有一天，他路過漢民村落，看到村民們正在忙著收秋莊稼。米穀剛剛打下來裝好袋子，莊戶頭就挨家挨戶來討租了。
農民們哭著喊著向莊戶頭求告，訴說今年遭了澇災，收成不好，減收一點租子吧！沒有用，糧食還是一袋袋被強行裝車搶走了。就這樣，地淨場光，農民們一年的辛苦又落了空。
曹雪芹知道，莊戶頭搶走的糧食，轉手還要運送給作為他們主子的住在城裏的富貴人家。
早年，曹家也是這樣的。不過，那時候他不知曉農民種地有多艱難、生計有多困苦。
以前讀唐詩，每讀到“春種一粒粟，秋收萬顆子，四海無閑田，農夫猶餓死”這些句子，往往並不大去理會。現今，活生生的情景就擺在眼前，使他陷入了痛苦的沉思之中。
後來，曹雪芹在寫到莊頭烏進孝來賈府交租一節時，就好像那一日看到的淒慘情狀又浮現於眼前了。烏莊頭是為賈府經營旗地的代理人，本身並不是佃戶。他向主子訴說：
回爺說，今年年成實在不好。從三月下雨起，接接連連直至八月，竟沒有一連晴過五日。九月裏一場碗大的雹子，方圓近一千三百裏地，連人帶房並牲口糧食，打傷了上千上萬……