曹雪芹的爺爺叫曹寅，愛好文學，寫過一些詩詞文章，在當時很有名氣。曹寅死後，他的兒子曹顒繼任江寧織造。可是，不到一年，曹顒就病死了。康熙皇帝不忍心這個忠實於他的家族這樣衰落，就指名把曹寅的侄子曹頫過繼給曹寅，擔任江寧織造。曹雪芹是曹顒的兒子，曹頫的侄子。
曹家人丁不旺，曹雪芹又是接替香火的種子，一生下來就受到人們的百般寵愛。他的吃穿用度，都是奢靡奇異，豪華精巧。家裏還有琳琅四壁的藏書，玩累了可以東抽一本看看，西拿一本瞧瞧。這樣，他從小養成好讀雜書的習慣，視野也自然比一般隻讀四書五經的人開闊得多。
13歲前的曹雪芹生活是優裕的。生活上有母親、祖母的照料和百般寵愛，當時曹家藏有豐富的圖書，曹雪芹天資聰慧，又廣聞博識，這些都是日後從事文學創作的基礎。
可是，在康熙皇帝的兒子們明爭暗鬥的過程中，曹家看錯了風向，不但沒有支持皇四子胤禛（就是後來的雍正皇帝），反而和他的政敵皇八子來往密切。雍正皇帝懷恨在心，一登上皇位，就找碴兒整曹家。曹家長期鋪張浪費，花錢像流水一樣，虧空了不少公款。雍正皇帝借口曹家貪汙公款，撤了曹頫的職，又把他家查抄了。
曹家被抄以後，即由南京遷到北京。從此，家道衰敗，以致陷入“滿徑蓬蒿老不華，舉家食粥酒常賒”的生活狀況，也使曹雪芹告別了如夢年華，踏入了人生道路上的荒涼境地。他被迫來到北京西山腳下一個偏僻山村落戶。此處是“野水臨門”、“蓬蒿浸徑”，隻有一間用茅草蓋的屋。住在這裏，幾乎什麼門路都沒有，主要靠賣字畫換錢度日。
曹雪芹遭受這場“天翻地覆”的變故，對他的打擊是相當沉重的。長大以後，他對社會現實極為不滿，痛恨仕途的險惡，隻以吟詩作畫、飲酒聽曲為樂，生活不羈，放浪形骸。
曹雪芹成年之後，按內務府旗人都要在宮廷當差的規定，也出來當差，就是在右翼宗學擔任教習。曹雪芹性格狂放，過不慣宗學裏那種拘謹刻板的生活，不久就丟了差事，離開了宗學。這時，曹家的家境更是一天不如一天了。他們鮮衣美食地揮霍慣了，沒過多久就把北京的那點祖產賣了個精光。曹雪芹窮得在城裏實在住不起了，就搬到了鄉下。
就在曹雪芹最困難、幾乎陷入絕境時，有幸結識了好友敦敏和敦誠兩兄弟，從此成為文朋詩友，酒中知音。他們在一起飲酒作樂，高談闊論，骨氣凜然，並有“捫（摸）虱而談”的魏晉風度。敦敏在《題芹圃畫石》中，用石頭的有棱有角頌揚曹雪芹“傲骨如君世已奇，嶙剛更見此支離”。
曹雪芹多才多藝，詩和畫均有特色。詩的風格頗有唐代“鬼怪詩人”李賀的氣息，以超拔奇詭見長，但又超出了李賀的格局。敦誠因此有詩讚道：“愛君詩筆有奇氣，直追昌穀破籬樊”。在繪畫方麵，曹雪芹擅長畫石，借此發泄自己心中的不平。他的意誌就像怪石一樣，崢嶸嶙峋。