張遼在大年初五這天離開了馬城，走的時候身邊隻有兩百騎，此時除了張郃之外，誰也不會想到日後等他再回馬城時，卻成了名動天下的人物，身後跟著數萬鐵騎。
跟在張遼身後的兩百騎，是副將慕容平從驍騎衛中為越騎衛挑選出來的軍官種子，雖然隻有兩百人，卻也軍容嚴重，殺氣騰騰，讓道路兩旁的行人不敢直視。
兩百騎兵雖少，卻也要看跟誰相比。據說當初侯成有馬十五匹，被後槽人盜了去，準備獻給劉備。侯成察覺此時後，追殺了後槽人，並將馬奪回。為了此事，諸將還與侯成作賀，侯成為了招待大家，便冒著呂布的禁酒令在家中私自釀酒五、六斛，差點被呂布砍了頭。丟了五十匹馬找回來都要進行慶賀，兩百百戰精騎豈不是要大宴賓客三日？
張遼一行從馬城出發，首先到了集寧都尉城，這裏地處大青山以西，雁門郡以北，距離張遼的老家馬邑四百多裏路程，騎馬三四日間便可抵達。
張遼本是聶壹的後人，其家族為了避怨而改張姓，散居在馬邑一帶。那麼，張遼的家族為什麼要避怨呢？此事卻要從漢武帝時期的“馬邑之謀”說起。張遼的祖上聶壹，是漢武帝時期的豪商，也是當時有名額馬邑之謀的重要參與者。
據《史記》的記載，漢武帝時匈奴請求與漢朝和親結盟，當時漢廷大臣為此爭持不下，韓安國等人支持和親，王恢卻認為應該絕其所求，以兵擊之。結果韓安國一方得到較多朝臣支持，於是武帝決定與匈奴和親。
雁門馬邑一帶的豪商聶壹出於對匈奴的熟悉和對西漢王朝邊患不息的焦慮，透過王恢向武帝建議，和親之後漢朝已經取信於匈奴，隻要誘之以利，必定能將之擊潰。於是聶壹奉命以自身作餌，親到匈奴陣營，向當時的軍臣單於詐降，更稱自己能斬殺馬邑縣令，迫使馬邑舉城投降，然後可盡得該城財物。單於信其言，又貪其利，便立刻策劃起兵。聶壹回漢後，以一名罪犯的首級訛稱為馬邑長吏之頭，以示時機已至，引誘匈奴軍深入重地。
計劃本來順利進行，豈料單於在行軍之際，發現城野之間隻見牲畜，不見一人，於是起了疑心。他派兵攻下一個兵堡，俘虜了一名尉史。這個尉史交待了早已有三十多萬漢軍埋伏在馬邑附近的真相，識破陰謀的單於大驚退軍，漢軍設伏全無用武之地。王恢判斷形勢後，認為已經錯過了襲擊匈奴軍輜重的最佳時機，於是決定收兵回師，“馬邑之謀”遂以失敗告終。
因為馬邑之謀被匈奴人識破，聶壹和他的族人自然為匈奴人所怨恨，為了避免匈奴人的報複，聶壹的後人便改姓為張，繼續在馬邑一帶生活。
張遼年少時便聞名鄉裏，被舉為雁門郡吏員，後來並州刺史丁原見張遼武力過人，便召其張遼為從事，命他帶兵往前往洛陽。張遼到了洛陽之後，大將軍何進又派遣張遼前往河北募兵，共得千餘人。可是當張遼募兵還未返回洛陽時，京城中的何進已因剿宦失敗而死，丁原也被呂布所殺，因此張遼招募回來的士兵盡歸董卓所有。董卓死後，張遼統兵歸屬於呂布，擔任了騎都尉。
從張遼的出身來看，其實他與呂布的關係並非像侯成、宋憲那些人，當初他在丁原手下時職務是從事，而呂布是主簿，兩人其實屬於同僚，而非上下級。等到丁原死後，董卓把持兵權時，呂布和張遼依然不是上下級的關係，而是同為董卓的屬下，隻不過呂布的地位比張遼要高一些。董卓死後，張遼作為並州人，不可能跑去投奔李傕和郭汜，隻能跟隨了老鄉呂布，但在呂布陣營內的地位卻並不高。
正因為張遼與呂布的關係屬於合夥人性質，而非家主與部曲之間的依附關係，所以呂布在白門樓被曹操賜死時，高順一聲不吭，而張遼卻願意投效曹操。不是張遼的忠誠度低，而是因為他沒有義務死忠於呂布。
那麼，問題又來了。張遼既然不是呂布的部曲，也就用不著委屈自己隨呂娘蓉一起陪嫁到鄴城，要知道隻有家將才能像貨物嫁妝一樣被人送來送去，而張遼的身份完全可以離開呂布，自尋新的東家。
張遼之所以願意被呂布當成陪嫁送給劉和，卻是因為他在暗中默默關注著大漢的形勢，而劉和毫無疑問就是他心目可以投靠的明主。既然明知道是自己要被送到鄴城，從今歸於劉和帳下，張遼也就犯不著為了一時痛快而背上與呂布分道揚鑣的壞名聲。如果呂布是把他送於袁紹或者別人，張遼肯定不會這麼爽快的同意，甚至在半路上借機離開都有可能。