正是這個關鍵性的時候，司馬遷奉使前往西南夷地區，這時當地已建立了五個“初郡”：在邛國的都城建立了越雋郡，在笮國的都城建立了沈黎郡，在且蘭都城建立了牂牁郡、在冉都城建立了汶山郡，在廣漢（今四川梓潼）、西白馬（今甘肅康縣）等小邦建立了武都郡。這些初郡羨慕漢朝高度發達的封建文化，希望獲得漢朝的先進技術。所以朝廷才派知識淵博、才華橫溢的司馬遷前去落實政策、慰問百姓。
司馬遷這一次帶領一百多名侍衛，以郎中將的身份，浩浩蕩蕩地登上了去西南的路程。從長安出發，經過漢中以後，路便難走起來，隻有一條棧道，盤桓在崇山峻嶺之間。從關中到巴蜀，本來無路可通，直到秦惠文王為征討巴蜀，才命令大將司馬錯開鑿了這條棧道。後來秦王朝對這條棧道做了一些休整，漢武帝即位後，為經營西南夷，又專門派人對棧道進行維修和加固，並在途中設置了若幹個驛站，供出入巴蜀的漢家使者休息和換乘驛馬。棧道外雖然設置了扶手欄杆，但險要處下臨深淵萬丈，朝下看去，仍給人以頭暈目眩之感。最危險的地方當然是褒斜道，這是巴蜀通往關中的惟一出口。褒斜道上方兩峰對峙，關隘在兩峰之間，關隘之下便是幾百米高的陡峭石壁，人們在石壁上鑿出石梯，讓人拾級而上。此處真有一夫當關，萬夫莫開之勢。經過二十多天的跋涉，終於達到巴郡（今重慶北），稍事休息，便風塵仆仆，趕到犍為郡（今四川宜賓）。
新任不久的犍為郡守見天子的使者來了，連忙擺酒洗塵，席間，新郡守向司馬遷彙報了前不久漢朝使臣和前任犍為郡太守被且蘭國王殺死的經過：
那被殺的漢朝使臣名叫馳義侯遺，他奉朝廷之命，征發西南夷的兵馬討伐南越，他偕同前任犍為郡太守，前往且蘭國征兵，且蘭國王不但不發兵，反而對部下說：“南越國已經殺了漢使，我們應學樣。”於是暗地埋伏兵馬，突襲天子使臣，馳義侯遺猝不及防，和前任犍為郡太守一同被殺。朝廷立刻派兵進攻且蘭，但路遠兵少，一時未攻下，這時，有兩位中郎將郭昌和衛廣，帶領八校尉兵，在攻滅南越國之後，回師攻打且蘭，這八校尉兵是特種部隊，其番號分別為中壘、屯騎、步兵、越騎、長水、胡騎、射深、虎賁，擅長山地、叢林作戰，勇猛無敵，所向披靡，且蘭國的士兵怎能抵擋？一上陣就被八校尉兵打散，領隊的且蘭國王也被擒拿處死。目前且蘭國無主事之人，局麵不穩，亟待朝廷欽差前往安撫。
司馬遷聽了，知道事不宜遲，便告辭犍為郡太守，快馬加鞭，趕到且蘭國境，會見當地豪傑貴人和百姓代表，對他們說：“朝廷施恩給且蘭百姓，不計較以往，已將且蘭國改成牂牁郡，你們立即推舉一人為郡守，由我欽差任命。”代表們當即推出一位德高望重的父老，為郡守人選，司馬遷審察後，授予他委任狀和大印。並賜予牂牁郡地圖，其疆域包括今貴州中部以南地區，雲南東南部地區、廣西自治區西北部地區，郡治在今貴州貴定東北。
司馬遷撫慰好且蘭地區後，立即向邛都出發。邛都位於滇北，這一帶大大小小有十幾個土邦，以邛都國最大，土邦的頭人都看邛都國君的臉色行事。前不久，邛都國君見且蘭國殺了漢使，也大膽學樣，殺了駐在那兒的漢朝使臣，於是，其他小邦也學著攔劫漢朝官商。朝廷聞知，同樣派八校尉兵前往鎮壓，將邛都國君斬首。此處情勢混亂，百姓生活困苦。
從且蘭到邛都，要經過許多山地，在山巒環抱中，不時出現盆地，這些盆地自然就成為人們聚邑而居之地，平坦之處都被鄉民辟為農田。
夜晚，一行人在帳篷裏休息，司馬遷坐在中帳之中，秉燭沉思。他想：“開西南夷道真是一項勞民傷財的舉動。漢武帝年輕氣盛、好大喜功，唐蒙等臣子則察言觀色、曲意迎合，以求升遷和寵幸，才使漢朝的軍民陷入西南這個泥沼。”他將這種想法和幾個隨從說了，左邊的一個侍衛說：
“是呀，這真是個泥沼，由於道路不通，大軍很難開到這個地方來，即使來了，運送軍隊的給養，千裏迢迢，花費大大超過實效。被征發的百姓負擔太重，結果引起民變，臨時又得運兵來鎮壓。這麼一來，就是把巴蜀全部的租賦都花費上去，也抵不了開西南夷道的費用。”
左邊的一個侍衛說：“現在朝廷萬不得已，隻好將一些犯罪的囚徒送到這兒，讓他們當屯墾兵，以充實邊塞。結果耕種所得歸地方所有，而行政支出卻要算在中央朝廷頭上。這也是得不償失之舉啊！”
司馬遷說道：“你們說的都是事實，但我們既然已經來到此地，就得將事情辦到底。不管結果如何，我們做事對得起朝廷和百姓就行。”
第二天，他們來到邛都國，周圍的土邦首領聽說天子的使臣到了，都前來磕頭請罪，他們不想遭到邛都國君一樣的下場，願意誠心歸附漢朝。司馬遷責令其一一寫悔過書，然後饒恕了他們攔殺漢朝官商的罪過。隨即司馬遷向他們宣布邛都國已改為越雋郡，不再是一個獨立的小國了，他們必須解散私家軍隊，服從新來的郡守管束，做漢朝的順民。司馬遷還讓新郡守和大家見麵，劃定了越雋郡的範圍，其地包括今天的四川西昌地區、涼山彝族自治州、雲南西北部分地區，郡治在今四川西昌市東。