當陳友諒稱帝，祖先采納妻子慕蝶之言，辭去了官職，為保全家老小周全，改姓為單，從而人間蒸發。
也因此，史書上記載，也並未提到有一姓單的謀士曾效力陳友諒。
離開陳友諒之後，單家祖先並沒有再去為官，而是開始經商，因為戰爭時期，也是賺錢的最好時期。
那時候最為富裕的起義豪傑便是張士誠，單家祖先在那裏倒買倒賣。
直至後來，朱元璋一統江山的時候，單家已經有相當雄厚的財力。
當朱元璋提出修建行宮之舉，單家立刻獻出一半的家產，如此，便為單家在未來幾十年內迅速壯大打下了結實的基礎。
巨款捐獻之下，朱元璋自然召見了單家祖先，並一眼識破其乃原屬陳友諒麾下一名頗有才略的謀士，有意招收入朝。
單家祖先婉言謝絕，稱“年老體衰，知吾皇要建立宮殿，舍萬金，願天下安平。”
單家祖先以辛辛苦苦賺來的錢換朱元璋賜予安寧。朱元璋亦是一名惜才之士，但見對方不願，便也不再強求，任其發展於商業。
如此一來，才有今日，這個不握權勢，卻成為了大明第一富商的單府。
若幹年來，單家仇敵不在少數，唯有南家依著世襲萬金侯的爵位，堅持不懈與單家對立。
追溯起因，乃是單家祖先效力於陳友諒時，南家當家人南峰在張士誠手下做將領。
因單家祖先獻計，導致張士誠對南峰起疑，而後大戰之時，單家祖先之弟又斬下了南峰左臂，單家祖先趁熱打鐵又施一計，讓張士誠不敢再用南家之人。
就在南家落入冷宮時期之間，竟有人攻擊南家所負責鎮守的城池。
好事無雙，噩運接踵。
南家大敗，城池被敵軍所奪，張士誠徹底相信南家背叛了自己。
勉勉強強死裏逃生之後，南峰不知從哪得知了這一切是單家祖先所設計，率殘餘部署家眷投奔了朱元璋。
後來傳言，朱元璋見南峰心胸狹隘，是可利用之人，便將其留下，卻並不委以重任。大明一統天下之後，朱元璋賜南家世襲爵位，稱號萬金侯，卻並無實權。