秦始皇幾分留戀、幾分遺恨地離開琅琊台，車駕沿黃海海濱的馳道，奔西南而行，到達東海郡的郡治郯（今山東郯城西）。在郯城稍事休息後，啟程抵達彭城（今江蘇徐州市）。在彭城，秦始皇聞聽象征著周天子權力的周鼎沉沒於泗水之中，很想得到這國寶，使秦之代周更為合乎天意，便下令千人入泗水尋找周鼎，結果是毫無所得。於是，秦始皇心情不快地南下渡過淮水，到達長江中遊的衡山郡郡治邾（今湖北黃崗南）、南郡郡治郢（今湖北江陵）。
秦始皇帶領文武官員及隨行人員，乘大船沿長江順流而下，取道湘山祠（今湖南嶽陽縣西），想要登臨南嶽衡山（今湖南衡山縣西，海拔1290米）。然而，船隊在湘山祠江麵遇到大風浪，幾乎船翻人亡，不得渡江。登岸後，秦始皇問隨行的博士說：
“湘君是何方之神？”
博士回答說：
“聽說湘君原是堯的女兒，舜的妻子，死後葬於此地，後人尊湘君為神，立湘山祠。”
秦始皇正為渡江遇風險而發怒，聽博士說什麼湘君神，更是惱上加怒，以為是湘君同自己過不去。既已登岸，驚魂已定，作為功過三皇五帝的皇帝，秦始皇還怕什麼？他怎能受什麼湘君神的氣！為與湘君神比試高低，秦始皇於大怒之下，使令三千名刑徒將湘山上的樹全部砍伐，使湘山成為一座禿山。
麵對著禿山，秦始皇出了這口氣，以為戰勝了湘水女神。同時，秦始皇將使他得以登岸脫險的洞庭山，（又名湘山，在洞庭湖中）命名為君山。
秦始皇的這次南巡，本想登臨衡山。可是自到達彭城後，派千人入泗水尋周鼎而不得；湘山祠遇風險又險些落水，一路並不順利。因此，巡遊的興致沒有了，遊途中的疲勞也襲來了，發怒伐樹正是他這種心情的集中表現。於是他取消了繼續南行登臨衡山的預定汁劃，命車駕取道回都城鹹陽。
秦始皇取道南郡治所郢（今湖北江陵），路經安陸（今湖北安陸），由安陸入今河南省境，由河南經商南、武關進入陝南。從湖北回鹹陽，經武關、商縣、藍田，這是一條捷徑。秦始皇由河南西南的豫鄂邊境返回鹹陽的捷徑，誰知12年過後，劉邦正是由這條路線率義軍經武關到達鹹陽附近的灞水，秦王子嬰向劉邦投降。
秦始皇的第一次東巡、南巡，就這樣結束了。