謝尚，字仁祖，為豫章太守謝鯤之子。從小就有孝親之情。七歲喪兄長，其哀慟之態超出禮法，親戚無不感到奇異。到八歲，顯得聰明早熟。
謝鯤曾攜帶謝尚為賓客餞行，有客人說：“這小兒乃是座中的顏回啊。”謝尚應聲答道：“座中無仲尼，怎能辨別出顏回！”一席賓客無不驚歎。
十餘歲，逢父喪，丹楊尹溫嶠來家吊唁，謝尚號啕大哭，哀傷至極。之後擦幹眼淚訴說經過，舉止言語大異於尋常兒童，溫嶠十分看重。及至長大成人，聰明坦率智能超群，分辨理解無與倫比，行為灑脫不拘細節，不做流俗之事。他喜歡穿繡有花紋的衣褲，叔伯們責怪他，他因此改掉了這一嗜好，於是顯名於世。
謝尚擅長音樂，廣通多種技藝。司徒王導十分器重他，把他比做王戎，常稱他為“小安豐”，召為屬官。承襲父親封爵鹹亭侯。謝尚剛到司徒府通報名帖，王導因為府上正有盛會，便對他說：“聽說你能跳《鴝鵒舞》，滿座賓客渴望一睹風采，不知你可否滿足眾人意願？”謝尚說：“好。”便穿好衣服戴上頭巾翩翩起舞。王導讓座中賓客拍掌擊節，謝尚在廣眾之中俯仰搖動，旁若無人。謝尚就是如此率直任意。
謝尚遷職西曹屬。其時有一些人因戰亂遭逢父母離絕的不幸，議論者中有人認為做官管理國家大事，婚姻延續百代世係，在道理上並無妨礙。謝尚議論說：“典法禮儀的建立，都是遵循情理，開啟弘揚禮義道德。如果命運中遇到艱難不幸，就應該以大義作決斷。無後之罪，天地所不容，婚姻家庭乃是延續世係光大宗族的根本，這無疑不可阻滯。至於親屬生離的悲哀，父子死別的痛苦，悲痛之沉重，莫過於此。因身患不適的小病，尚且有損於視聽，使人忘卻思索考慮，更何況懷抱傷心之巨痛，悲哀之至憂，方寸已亂，怎能管理國家政務呢！有良知的人決不貿然謀求榮耀利祿。貪圖利祿榮耀這一類，也決非是有良知的人所追求的本旨，隻會開啟輕薄之門而長流弊之風。那些執意隱居田園不求仕進、守誌不改的人，尚且應推崇他們的節操以弘揚高潔的風尚，更何況那些含悲懷痛的不幸之人，還要去鼓勵他們謀取富貴榮耀嗎？”
謝尚遷職會稽王友，入朝補任給事黃門侍郎，出任建武將軍、曆陽太守，改任都督江夏義陽隨三郡軍事、江夏相，將軍封號不變。當時安西將軍庾翼鎮守武昌，謝尚多次前往庾翼處商議謀劃軍事。曾與庾翼一起練習射箭，庾翼說：“你如果射中箭靶，我就將我的鼓吹贈送給你。”謝尚應聲拉弓，箭中靶心，庾翼當即將他的副鼓吹送給了謝尚。
謝尚為官清廉，理政簡易，剛到任，郡府用四十匹布為謝尚造烏布帳。謝尚將其拆散，拿去為將士們做了衣褲。建元二年（344），朝廷下詔書說：“謝尚早先因征戰戍邊的需要，所以免去了其黃門侍郎之職，而授予他以軍中職務。謝尚所處形勢險要，應提高其威信聲望。現任命他為南中郎將，其餘官職不變。”適逢庾冰病逝，朝廷又命謝尚以原本職號都督豫州四郡，兼江州刺史。不久又改任西中郎將、督揚州之六郡諸軍事、豫州刺史、假節，鎮守曆陽。