秦皇築長城，乃為萬世利。連山絕穀勢蜿蜒，雄圖自足製中外。
——（清）楊鸞
（一）
在加強北疆防禦力量的同時，始皇帝也加強了對西南和東南各地的統治。秦始皇統一全國後，雖然在名義上實現了“率土之濱，莫非王臣”，但由於西南和東南一帶地形複雜，山高林密，崖陡穀深，河流湍急，大秦帝國的統治力量實際上並沒能達到那裏。
西南的情況與北部邊疆不同，那裏民族眾多，各自為政，並沒有形成能與中原相對抗的軍事力量，也沒有出現明顯的同中央政府對抗的民族情緒。因而，秦始皇抓住解決問題的關鍵，即修路，先解決交通問題，將西南地區與中原在交通網絡上連成一體，然後再逐步建立地方政府，從而實現對該地區實行有效的政治和經濟管理。
由於西南地區的地形複雜，道路無法按照中原六尺官道的標準修建，隻能因地製宜地開鑿五尺道。現在已經無法知曉始皇帝時代開鑿的五尺道有多少，也不知何時修建完成的。可以想象，由於受地理條件的限製，五尺道的開鑿工作一定是非常緩慢而艱苦的。
然而，隨著道路一寸寸地向西南方向延伸，統一西南夷的願望也變得越來越現實起來。終於，這條鋪設在崇山峻嶺中的五尺道修通了。它的北端連接著難於上青天的巴蜀棧道，南端則緊緊延伸到風光旖旎的大西南。
隨後，始皇帝便向西南地區派駐了官吏，設置了行政機構。另外，根據當時的情況推測，秦始皇可能還派遣了一定數量的軍隊到那裏，以雪亮的刀鋒支持秦朝在西南地區的統治。
五尺道的開鑿第一次使西南地區同中原有了直接的政治、經濟和文化往來，對推動當地社會的發展，促進少數民族地區的文化進步，起到了很好的作用。與此同時，它也在客觀上加快了華夏族同西南各民族之間的融合，在一定程度上加深了民族之間的了解，提高了中華民族對大一統政治文化的認同性，有利於多民族統一國家的發展。
開發西南地區基本上沒有動用刀兵，開發大東南則不一樣了。在今湖南、江西南部和廣西、廣東交界之處，聳立著五道雄峻的山嶺，即越城嶺、都龐嶺、萌渚嶺、騎田嶺和大庾嶺。這就是人們經常說的五嶺。現在，人們習慣上將五嶺以南地區稱為嶺南。當時，嶺南以及與之相鄰的閩越地區的經濟發展水平十分落後，即使到了唐代，這裏也無法同北方相比。
春秋至秦朝，在東南和南方地區生活著一個與華夏族完全不同的民族——越。越，又名粵，是一個曆史悠久的民族。由於越族部落眾多，人們又稱之為百越。春秋時期的越國即是由百越中的於越人建立起來的。越國滅亡之後，百越開始陸續融入到華夏族之中。至秦朝時，百越中比較大的是閩越和南越，其中南越分布的範圍最廣闊，人數也最多。
據說，始皇帝在公元前214年組織了總數達50萬人以上的龐大兵力，由尉屠睢為統帥，兵分五路，向東南和嶺南出發。進軍東南十分順利，這大概與東南地區與中原接觸較早，對中央政府的認同度較高有關。早在秦朝統一六國以前，秦國的政治統治即已達到過東南地區。公元前222年，秦國名將王翦即率兵平定了楚國所統轄的江南地區，降服了越君，並設置了會稽郡。公元前221年，秦朝又在東南建立了閩中郡（郡治在今福建省福州市）。
進軍嶺南的戰事則相對要艱難一些，這可能與嶺南地區的越人接觸中原文化較晚，對中央政府的認同感較低有關，另外一個原因則是當地複雜的地理環境造成的。南方的河流縱橫交錯，從黃土高原一路打過來的秦軍不熟悉地形，又無法適應當地酷熱的氣候，後勤補給也十分困難。
為了解決後勤問題，秦始皇於公元前214年委派一位名叫史祿的監禦史率部開鑿靈渠。在長江流域和嶺南的珠江流域之間，五嶺隔斷了南北之間的往來，不僅水路不通，連陸路也因地勢險峻而難於暢通。漓江和湘江都發源於今廣西興安縣，史祿就利用兩河之間最近距離隻有幾裏地的天然條件動工開鑿了兩條運河，即著名的靈渠。靈渠溝通了長江和珠江兩大水係，成為中國南北交通的重要水道。靈渠的開鑿，為鞏固統一、促進南北方經濟和文化的交流創造了極為有利的條件。
靈渠開通後，秦軍的後勤補給解決了，秦始皇立即命令他的50萬大軍全力進攻。後來，他還派任囂和趙佗兩員大將，率領水軍經由靈渠開往前線增援。
在秦軍強勁的攻勢麵前，“被發文身，錯臂左衽”的嶺南越人再也抵擋不住了，隻好繳械投降，向始皇帝俯首稱臣。為鞏固這一成果，秦始皇不但遷徙了數十萬罪犯到嶺南與百越雜居，還在那裏設置了象郡（郡治在今廣西崇左縣）、桂林郡（郡治在今廣西桂平縣）和南海郡（郡治在今廣東省廣州市）。