城磚的製作由南京工部、京師駐軍及長江中下遊的湖南、湖北、江西、安徽、江蘇五省共125個縣承擔，燒成後由水路運到南京。可見，這是一項非常浩大的工程。
為了達到最佳效果，城牆采用巨型條石、大磚與糯米汁、石灰、桐油拌和後砌成。這在無形中就增加了工程的製作難度。
不過，沈萬三不懼這些，因為他手裏有的是錢。民間傳說他的家當大得不得了，前門在上海灘，後門在無錫惠泉山，昆山隻是他家的大門檻。自明中葉以來，江南百姓就把沈萬三當成平民財神，到了正月初五，許多人家都會張貼“沈萬三聚寶盆”年畫。可見，沈萬三在江南有很大的影響。
雖然朱元璋背後有全國財力支持，但沈萬三毫不遜色，有錢好辦事，沈萬三憑借手中的錢財，未必就會輸給朱元璋。
朱元璋手中握有生殺予奪的權力，打定主意要和這樣的人物較勁的沈萬三不會有什麼好結果，有一個明眼人就看出了其中的端倪。
據說，致富後的沈萬三開始大肆地迎娶妻妾，他一生共娶了13房妻妾，把她們分置於各地，縱情聲色。其中，有一個叫九娘的小妾是沈萬三最鍾愛的女人。這個女人不僅聰明過人，而且琴棋書畫樣樣精通，還特別善解人意，對一些事情很有見地。就說幫朱元璋修城牆這件事，九娘覺得這樣的事情是做不得的，並多次加以勸阻沈萬三。可是被財富衝昏了頭腦的沈萬三就是聽不進去，結果為自己埋下了禍根。
另外，在修築城牆的過程中，還發生了這麼一個小插曲。
朱元璋見沈萬三修城牆的速度一點兒也不慢於自己，覺得臉上無光，便想找個借口，懲罰一下這個江南巨富。但沈萬三修的城牆從質量上找不到絲毫紕漏之處。不過，這難不倒朱元璋，大權在他手裏，欲加之罪何患無辭。於是朱元璋借口沈萬三修的城牆過高，不合規矩，命令他拆掉重修。
這個借口真是太不高明了，城牆是用來防禦的，高一些自然會讓城池固若金湯，從來就沒聽說過有人嫌城牆高的。
麵對蠻不講理的皇上，沈萬三沒有辦法，便拆掉修好的城牆，準備重新修築。結果一拆拆出一口泉眼，沈萬三急忙讓人封堵。誰知這個泉眼通海，怎麼堵也堵不住，城牆修築一點兒便塌陷一點兒。
朱元璋本來覺得聚寶盆一說是子虛烏有的事情，但他聽說聚寶盆可以塞泉眼，便將沈家的聚寶盆（破瓷碗）借走了。本來答應三天後五更前歸還，但朱元璋轉身就命令更夫從此永遠不報五更。
這個泉眼最終肯定是堵住了，否則也不會有現在的中華門和南京城牆，但朱元璋如此看重沈萬三的聚寶盆，對他的財富自然也是垂涎三尺。
此時，沈萬三也感覺到他手中的錢財也許會給他帶來殺身之禍，所以想著法的散自己的錢財。沈萬三不僅在秦淮河畔為自己購置豪宅，而且在南京城出錢修了很多座橋，還挖了99口井。這樣一來，又為自己贏得了良好的口碑。
另外，關於聚寶盆還有一種說法：沈萬三害怕因聚寶盆而引來禍患，便把聚寶盆埋在了金陵南城門，這樣一來，就可以鎮王氣、保江山，並且把金陵南城門稱呼為聚寶門。他以為這樣就能把別人的嘴給堵上，但朱元璋會這麼輕易地放過他嗎？
盛極而衰、否極泰來是自然界和人類社會的一個普遍規律。當你處在一個峰值的最高點時，接下來往往會走下坡路。沈萬三雖然可以賺取富可敵國的財富，但他也逃脫不了這個規律的製約。