當然了，不是沒有人有想法，有少數人，還覺得是不是謝安也“下水”了，開始撈錢了。
但是大家一查，還發現這一切和謝安真的一點關係沒有，完全是這個謝非手眼通天，本事太高，就有本錢白手起家把這些人都團結在他周圍，就能夠讓他們近乎無償的來幫自己。
這樣的人，大家都服氣，都沒話說。
而且這個謝非非常會做人，雖然他會的，隻有當年當地痞流氓那一套，可是話說回來，上流社會的人，不過是地位高一點，喜歡拿腔作調擺譜一點，有時候呢則稍微文雅一點，不會像市井之徒那樣隨便，但再怎麼說，那些普世的規製，對他們還是實用的。比如人大部分都是貪財好色，膽小怕死，這一點，其實在底層社會體現的是最赤裸裸的，而上層社會呢，老是喜歡藏著掖著，倒是顯得有些虛偽。
謝非其實就是看透了這一切事情，才把這一套拿在上流社會來用。
也合該他成功，你要是一般的底層人士，根本人家就不帶你玩，這一套當然也使不開。而一般的上流社會的人，或是出於身份，或是根本不懂底層的生活，或是由於好麵子，根本不可能去做這些事情。
而偏偏謝非，對於這些破事很精通，而他多少也和謝安是親戚，大家也得賣他點麵子，所以說他也是可以進場玩一玩的人，這下子也就玩大了。
謝非的辦法其實也沒啥巧的，就是舍得花錢，講義氣，願意幫忙。雖然說他隻是個糧商，但是他畢竟是謝安的親戚，身邊又有一幫狐朋狗友，很快路子就打開了，別說還真能幫到不少人。這下子謝非的聲望就上來了。
謝安（320年―385年）字安石，陳郡陽夏（今河南太康）人。曾祖謝纘，曹魏時任過長安典農中郎將（據羅振玉《芒洛家墓遺文四編補遺》所收“謝府君神道”）；祖父謝衡，是西晉有名的儒學家，“博物多聞”，“以儒素顯”，任過博士祭酒、太子少傅、散騎常侍一類的文官。父親謝裒（一作褒），永嘉之亂時攜家南渡，在東晉政府中擔任過侍中、吏部尚書等要職。謝安出身於這樣的名門世家，從小受家庭的影響，在德行、學問、風度等方麵都有良好的修養。四歲時，譙郡的名士桓彝見到他大為讚賞，說：“此兒風神秀徹，後當不減王東海（即王承，東晉初年名士）。”
當時的宰相王導也很器重謝安，青少年時代的謝安就已在上層社會中享有較高的聲譽。然而謝安並不想憑借出身、名望去獵取高官厚祿。東晉朝廷先是征召他入司徒府，接著又任命他為佐著作郎，都被謝安以有病為藉口推辭了。後來，拒絕應召的謝安幹脆隱居到會稽的東山，與王羲之、許詢、支道林等名士名僧頻繁交遊，出則漁弋山水，入則吟詠屬文，挾妓樂優遊山林，就是不願當官。當時擔任揚州刺史的庾冰仰慕謝安的名聲，幾次三番地命郡縣官吏催逼，謝安不得已，勉強赴召。僅隔一個多月，他又辭職回到了會稽。後來，朝廷又曾多次征召，謝安仍然予以回絕。以此激起了不少大臣的不滿，接連上疏指責謝安，朝廷因此作出了對謝安禁錮終身的決定，經皇帝下詔才赦免。然而謝安卻不屑一顧，泰然處之。
謝安雖然屢屢不願出山，但當時的士大夫卻都對他寄予很大的期望，以至時常有人說：“謝安石不肯出，將如蒼生何？”他的妻子劉氏是名士劉琰的妹妹，眼看謝氏家族中的謝尚、謝奕、謝萬等人一個個都位高權重，隻有謝安隱退不出，曾對謝安說：“夫君難道不應當像他們一樣嗎？”謝安掩鼻答道：“隻怕難免吧。”果然，升平三年（公元359）發生的謝萬被廢黜事件，終於迫使謝安步入仕途。
謝萬字萬石，謝安的弟弟。他的器度不如謝安，卻也很有才氣，而且擅長自我炫耀，年紀輕輕就頗有名氣，仕途通達。升平二年（358），謝安的哥哥謝奕去世，謝萬便被任命為西中郎將，監司、豫、冀、並四州諸軍事，兼任豫州刺史。然而他並不是統兵作戰的材料，在升平三年十月受命北征時，仍然是一副名士派頭，隻顧吟嘯歌詠自鳴清高，不知撫綏部眾。謝安對弟弟的做法非常憂慮，勸戒說：“你身為元帥，理應經常交接諸將，以取悅部眾之心。像你這樣傲誕，怎麼能夠成事呢？”謝萬於是召集諸將，想撫慰一番。不料這位平時滔滔不絕的清談家竟連一句撫慰的話都講不出，憋了半天，幹脆用手中的鐵如意指著在座的將領說：“諸將都是勁卒。”如此淩辱輕慢，不僅不能撫慰將領，反而使他們更加怨恨。謝安無奈，隻得代替謝萬，對隊帥以下的將領一個個地親自拜訪，盡力加以撫慰，拜托他們盡力協助謝萬。但這並未能挽救謝萬失敗的命運。謝萬率軍增援洛陽，還未與敵軍交戰，手下士卒就驚擾奔潰。謝萬單騎狼狽逃還，軍士們本來要殺了他，看在謝安的份上才沒有動手。損兵折將的謝萬不久就被罷免為庶人。