即使男子拚命耕種，也生產不及軍役所需的食糧；女子日以繼夜紡織，也無法滿足軍用帳幕所需。文學館百姓疲憊，孤兒寡婦及老弱病殘者無法生活，倒在道路兩旁死去的人，屢見不鮮。直到蒙恬死後，在河套以南戍邊的勞役因陳勝起義，關東大亂而軍心不穩，很快散去，從而迫使秦帝國放棄河套以南之地。
現存史料提及有關秦國南征百越的曆史，可說是相當簡略。對於秦軍南征百越的經過，軍事部署、作戰環境以及秦軍麵對的軍事困難，《史記》的記載甚至可以用一鱗半爪來形容，但可以肯定南征百越的時間，實際上遠比北伐匈奴要早。
根據漢文帝元年（公元前179年）南越王趙佗所述，他已經在嶺南地區生活了49年。由於《史記》記載趙佗籍貫真定，並非嶺南當地人，故此可以參考他在嶺南生活的時間，從而推算出秦始皇何時開始南征百越。
自文帝元年往上推朔49年，為秦王政二十年（公元前227年），正值趙國被消滅的次年，可見在趙國滅亡後不久，趙佗隨即因為趙人的身份而被徵召入伍，成為征越大軍的其中一名士兵。因此可以肯定秦始皇在消滅六國的同時，便開始進行征服五嶺以南的軍事行動，而且更持續了十多年之久。
嶺南自古屬於瘴癘之地，亦稱百越，意指當地生活著眾多部落。
漢初文學家賈誼自被貶為長沙王太傅後，亦聽聞長沙氣候潮濕多雨，以為自己會早死。漢人畏長沙如此，比長沙更南的嶺南，其環境之惡劣可想而知。
即使是馳騁疆場半生。未嚐言苦的伏波將軍馬援，自受命討伐在交址地區動叛亂的徵氏姐妹以來，在平定叛亂後亦自言後悔未有聽從弟弟少遊的話，做個平民百姓，反而從軍平越。
當時漢朝已統治嶺南地區達百餘年，土地半墾，道路粗通，郡、縣、鄉、裏四級政權已建立，已有不少越人漢化。其自然環境和人文環境已有巨大變化。
馬援在提及征越之戰時，仍猶有餘悸，恐怕客死異鄉，可以想像到秦朝時期，嶺南地區的自然及人文環境。較二百年後的馬援時代惡劣十倍，而現存的史料均指，秦始皇對號稱瘴癘之地的嶺南采取軍事行動的最大目的，是看中當地出產的犀角、象牙、翡翠及珠璣等物，以及揚威海外。
約公元前227年（秦王政二十年），秦始皇下令使尉屠睢以南郡為後勤重地，在當地徵吏卒、新黔、甲兵及各種軍輸物資等所謂樓船之士。沿湘江水道為主要補給線，深入百越之地。南征秦軍一路勢如破竹，越人紛紛逃入深山密林，逃避秦人的統治。
秦征百越之前。由於百越地區的部落們已經矛盾重重，甚至多數相互攻擊，很難擰成一股繩抵禦秦軍的攻勢，但問題是百越地區部族眾多。盡管各自為戰，但越人逃入深山叢林的舉措。令秦軍難以徹底消滅其有生力量，加上秦軍水土不服，當地瘴癘橫行，致使軍中大疫，非戰鬥減員情況日益嚴重，戰事陷入長期化，正如《淮南子》記載的三年不解甲弛弩。
在戰事中期，秦軍擊殺了當地最大部落的領，西甌國領譯籲宋，但越人並未屈服，反而推舉桀駿為新的領，這個新推舉的領在一次夜襲中大破秦人，並擊殺征越秦軍最高統帥屠睢。
秦滅六國，百戰百勝，但在百越地區的征戰居然令秦軍伏屍流血數十萬（《淮南子人間訓》語），甚至連主帥也被擊斃。