沈萬三富得連朱元漳都眼紅；但在遭受朱明王朝三次沉重的打擊後，又很快衰落了。
第一次打擊是在明洪武六年(公元1373年)前後。據《周莊鎮誌》記載，‘《明史。馬後傳》洪武時，富民沈秀者助築都城三分之一，請稿軍，帝忍日：匹夫稿天下之軍亂民也，宜誅之。後諫日，不祥之民，天將誅之，陛下何誅焉！乃釋秀，戌雲南。‘
除沈方三充軍雲南之外，他的第二個女婿餘十舍也被流放潮州。在此之前，沈萬三除築洪武門至水西門城牆外。還以龍角貢獻，並獻有白金二千錠，黃金二百斤，甲土十人。甲馬十匹，建南京廊廡、酒樓等。這次打擊不僅使沈家失去了沈萬三這個當家人；而且富氣也減去了大半，可謂人財兩空。不僅如此，沈萬三當時被捕時，周莊鎮上株連甚多，有盡誅周莊居者之說。幸虧鎮人徐民望不避斧鉞，台禦狀至京城：才救下周莊全鎮老小。
第二次打擊是在明洪武十九年（公元1386年)，洪武十九年春，‘兄至以戶役故，縲*赴秋官時伯熙亦獲戾京師，適與兄同係獄‘(《周莊鎮誌卷三。塚墓)。這次沈萬三子沈旺的兩個兒子沈至、沈莊(伯熙)又為田賦坐了牢，伯熙當年就死在牢中，後移葬於周莊杏村。這樣，從根本上動搖了沈家的基業。
第三次汀擊是在洪武三十一年(公元1398年)。‘奏學文與藍玉通謀，詔捕嚴訊，誅連妻女，及其仇七十二家，‘洋武三十一年二月學文坐胡藍黨禍，連萬三曾孫德全六人，並顧氏一門同日淩遲‘(《周莊鎮誌》卷六•；雜記)，這次沈萬三女婿顧學文一家及沈家六口，近八十餘人全都被殺頭，沒收田地，可謂是滿門抄斬了。沈萬三苦心經營的巨大家業，急劇地衰落了。‘沈萬三家在周莊，破屋猶存，亦不甚宏大‘，沈家大族遭受如此三次沉重的打擊，隻能家破人亡。
就這樣，號稱江南第一豪富的周莊沈萬三，由興盛走向了衰落，但他畢竟是一個值得研究和借鑒的人物，他在周莊的遺跡，也使中外旅遊者及專家學者深感興趣。