史載曹雪芹的祖父曹寅喜好文藝，又愛好藏書，精通詩詞、戲曲和書法，其深厚的文化教養和廣泛的文化活動，營造了曹家的文化藝術氛圍。此時的曹家，呈現出空前的繁榮。然而，就在這繁華的背後，已是潛伏著危機，由於曹寅的日用排場，應酬送禮，特別是康熙四次南巡的接駕等等，在經濟上給曹寅造成了巨額的虧空，甚至可以說，曹寅已經給曹家種下了衰敗的禍根。
康熙四十八年（1709）十二月初六，兩江總督噶禮參奏曹寅，密報康熙說，曹寅和李煦虧欠兩淮鹽課銀三百萬兩，請求公開彈劾他。康熙把曹寅看成是“家人”（因其母為康熙的乳母），噶禮要求公開彈劾曹寅，康熙當然不會批準。但事關重大，康熙不得不私下諄諄告誡曹寅和他的大舅子李煦，必需設法補上虧空。曹寅麵對茫茫債海於康熙五十一年（1712）七月一病不起，死在揚州。
曹寅死後，康熙為保全曹家的江南家產，特命曹寅之子曹顒繼任江寧織造；兩年後曹顒病故，康熙又親自主持將曹寅的四侄曹頫過繼過來，接任了江寧織造的職務。同時康熙又讓曹寅的大舅子蘇州織造李煦代管兩淮鹽差一年，用所得的銀子補齊曹寅生前的虧空。從以上事實來看，康熙對於曹氏家族可算仁至義盡。
但是雍正上台以後，接連頒布諭旨，開始在全國上下大張旗鼓地清查錢糧，追補虧空。僅雍正元年，被革職抄家的各級官吏就達數十人，曹家的姻親蘇州織造李煦，就是因虧空獲罪，而被革職抄家。但一開始雍正並沒有把曹家與李煦一起治罪，而是允許他將虧空分三年還完。
雍正四年（1726），曹頫負責操辦的緞匹衣料質量“粗糙輕薄”，受到罰俸一年的處分。不久，雍正穿的石青緞褂褪色，經查又是江寧織造的產品，結果又罰掉曹頫一年的俸祿。曹頫一次又一次地失職，導致了雍正不滿和失望。但是雍正並沒有就此將曹頫問罪，而將他召回北京當麵考察和訓誡，雍正五年（1727）五月傳旨，命蘇州織造高斌不必回京，他所督運的緞匹由曹頫送來。不料曹頫在督運織造緞匹的途中，又在山東長清縣等處勒索費用，騷擾驛站，此時雍正已經忍無可忍，於十二月初四下令將曹頫等交由內務府和吏部嚴審。
次年二月，新上任的江寧織造隋赫德將曹頫江南家產人口查明接收，曹頫在京城的家產人口，也由內務府全部查封。六月，騷擾山東驛站案審結，判曹頫賠銀四百四十三兩二錢，由內務府負責催討，並將曹頫戴上木枷示眾。雍正六年（1728）初夏，曹雪芹隨同祖母、母親等全家老少，由南京回到北京，住在崇文門外蒜市口的曹家舊宅時，開始了窮困潦倒的悲涼生活。
而持“政治原因”說的則有幾種看法：
第一種認為：曹家與雍正的政敵允禩、允禟有染。雍正六年（1728），曹家終於敗落，直接的原因之一，是查出曹雪芹的父親曹頫替雍正的政敵允禟藏匿了寄放在他家的一對“本身連座共高五尺六寸”的金獅子。允禟等人在雍正一朝明明已經失勢，逾製私鑄的金獅子則是一種標誌著奪權野心的東西，曹頫為什麼肯替其藏匿？除了種種複雜因素之外，一個很重要的因素，恐怕就是那時的權力鬥爭波譎雲詭、前景一時不甚明朗，曹頫自然想在表麵忠誠於當今最高統治者的同時，再向一個或幾個方麵投注政治資本，這樣一旦政局發生突變，便不至於跟著傾覆，甚至可以收取高額政治利益。
第二種則認為，曹家與康熙朝兩次被廢的太子關係非同一般，引起了雍正的猜忌。據史料考證，康熙為了身後皇位繼承的大計，費了不可計量的心血，但是也帶來了難以對人傾訴的煩惱和痛苦。康熙起初在諸皇子中暗地觀察考驗，選中了次子胤礽，並於康熙十四年明詔以示天下，立胤礽為皇太子，是為“儲君”，即預定嗣位人。
康熙朝一開始局勢十分複雜險惡，在剪除權臣鼇拜一事上，胤礽的外叔祖索額圖於此有功。而索額圖精於鑒定古青銅器，喜招聚文士文人，與曹家的關係非常密切。當時索額圖官至大學士（宰相級），又以皇太子的外祖、監護人自居，富貴榮華勢傾朝野，胤礽受他的影響很大。在其叔祖的“百般疼愛”之下，助長了其漸趨驕縱的性情和行為。但索額圖後來逐步失去了康熙的信任，先是由於“撤藩”的大計，後即關係到胤礽的廢立的“國脈”問題了。
康熙在平定了“三藩”之叛及征討厄魯特部噶爾丹之亂時，都是令太子留守京師處理政事，而太子也表現的頗為稱職，材器不凡。但皇帝回京後即昕到胤礽的許多不良行徑，結交壞人，肆行暴戾——這裏麵有真實，也必然包含有嫉者一派的讒言誣謗。事情發展到康熙四十七年（1708）九月，康熙帝於極端痛怒中召集百官大臣，令太子跪聆父皇揭其罪狀，明令廢黜他繼承人的資格。康熙在廢太子詔裏清楚指出：“朕知胤礽稟性奢侈，著伊乳母之夫淩普為內務府總管，俾伊便於取用。孰意淩普更為貪婪，至使包衣下人無不怒憾”。