曹家是否陷入了康熙末年諸皇子爭奪儲位的鬥爭，以及在這場曠日持久的皇室鬧劇中曹家表現出什麼傾向和態度，可以姑且不論，雍正上台後明顯地厭惡曹頫，進而一步步加以整治，則是確定無疑的．雍正對曹頫的態度十分嚴厲，要他三年內補完欠賬，並將此事交由怡親王胤祥辦理。
雍正二年（1724），雍正在曹頫《恭請聖安》的折子上批示說：“你是奉旨交與怡親王傳奏你的事的，諸事聽王子教導而行。你若自己不為非，諸事王子照看得你來，你若作不法，憑誰不能與你作福。不要亂跑門路，瞎費心思力量買禍受。除怡王之外，競可不用再求一人托累自己。為什麼不揀省事有益的做，做費事有害的事？因你們向來混賬風俗慣了！”字裏行間，充滿了對曹頫的厭惡之感。
四月，大將軍年羹堯征羅卜藏丹金告捷，曹頫表奏，恭賀聖功，無非是幾句祝賀勝利的話，雍正卻加批說：“此篇奏表，文擬甚有趣，簡而備，誠而切，是個大通家作的。”充滿了挖苦和諷刺。雍正二年閏四月二十六日，因售人參事，雍正又責怪曹頫等：“人參在南省售賣，價錢為何如此賤？早年售價如何？著問內行府總管。”內務府總管來報告後，雍正又傳旨說：“人參在京時人皆爭購，南省價貴，且係彼等取去後陸續售出者，理應比此地多得價銀。看來反而比此地少者，顯有隱瞞情形。”五月初六日，曹頫奏報江南發生蝗災，因連降大雨，災情已基本緩解。然而雍正批道：“蝗蝻聞得還有，地方官為什麼不下力撲滅？二麥雖收，秋禾更要緊。據實奏，凡事有一點欺隱作用，是你自己尋罪，不與朕相幹。”始而吹毛求疵，接著殺機畢露，
雍正三年，內務府奏請停止曹頫等承造馬鞍、刀等物之飾件，改由廣儲司依原樣鑄造銅飾件。雍正批示說：“此議甚好，應依議。”雍正四年三月，突然發現庫存的綢過薄而絲又嫌生，新織造的緞也粗糙而分量輕，於是雍正傳旨讓內務府總管查奏，特別指示要查清楚“係何處織造所進”。核查的結果，“自雍正元年以來送進之新綢，秤量挑選”，分量輕薄和絲生的有二百九十六匹；
曹頫送的上用緞二十八匹、官緞三十匹，都存在“粗糙輕薄”的問題，“比早年織進者已大為不如”。內務府這份報告特別強調，所送綢緞發生質量問題，是“自雍正元年以來”，這不分明是說曹頫等有意和新皇帝作對嗎？結果曹頫等除照數賠補外，各處以罰俸一年。雍正四年十一月，曹頫等賠補的綢緞已經送到，雍正特別提出：“曹頫現在此地，著將曹頫所交綢緞內輕薄者，完全加細挑出交伊織賠。倘內務府總管及庫上官員徇情，不加細查出，仍將輕薄綢緞存庫，若經朕查出後，則將內務府總管及庫上官員決不輕放過也。”這條旨意是相當厲害的，等於命令內務府一定要找出曹頫的破綻來，否則就一起論罪。
雍正五年閏三月，奏事員外郎又傳出旨意：“朕穿的石青褂落色，此緞係何處織造？是何員、太監挑選？庫內許多緞匹，如何挑選落色緞匹做褂？現在庫內所有緞匹，若皆落色，即是織造官員織得不好，倘庫內緞匹有不落色者，便是挑選緞匹人等，有人挑選落色緞匹，陷害織造官員，亦未可定。將此交與內務府總管等嚴查。”看來雍正是揪住織造不放了，一會嫌綢薄絲生，一會說緞匹落色，宗宗件件都和曹頫有關。經過“嚴查”果然發現：“做皇上服用褂麵，俱用江寧織造送之石青緞匹。”而且庫存的所有這些緞匹，“俱皆落色”。就是說，這次事故與挑選緞匹的人無關，主要是“織造官員織得不好”，因此責任全部在曹頫。結果曹頫又被處以罰俸一年。
不久，巡鹽禦史噶爾泰還密報說：“訪得曹頫年少無材，遇事畏縮，織造事務交與管家丁漢臣料理，臣在京見過數次，人亦平常。”雍正在“遇事畏縮”旁朱批“原不成器”，在“人亦平常”旁朱批“豈止平常而已！”足見雍正對曹頫極為不滿，與康熙賞識曹頫的往事適成鮮明的對比。主要是因為雍正懷疑他與“奸黨”有特殊關係，所以總想找出岔子來整他。五年五月，雍正命令曹頫送緞匹來京。本來這一年應該由當時的蘇州織造高斌送，但雍正叫他不必來，點名讓曹頫送．雍正五年十二月初四日，山東巡撫塞楞額告發：織造運送龍衣經過長清縣時，多索夫馬、程儀和騾價等項銀兩。雍正立即傳旨說：“朕屢降諭旨，不許欽差官員、人役騷擾驛遞，今三處織造差人進京，俱於勘合之外，多加夫馬，苟索繁費，苦累驛站，甚屬可惡！”並表彰了塞楞額告得好。實際上雍正完全知道這次進京的隻有曹頫，其一步步整治曹頫的用心昭然若揭。因此，“騷擾釋站”成了曹頫被抄家治罪的直接原因，曹頫到京後即被扣留，並罰他賠銀四百四十三兩二錢。