張遼字文遠，雁門馬邑人也。本聶壹之後，以避怨變姓。少為郡吏。漢末，並州刺史丁原以遼武力過人，召為從事，使將兵詣京都。何進遣詣河北募兵，得千餘人。還，進敗，以兵屬董卓。卓敗，以兵屬呂布，遷騎都尉。布為李催所敗，從布東奔徐州，領魯相，時年二十八。太祖破呂布於下邳，遼將其眾降，拜中郎將，賜爵關內侯。數有戰功，遷裨將軍。袁紹破，別遣遼定魯國諸縣。與夏侯淵圍昌豨於東海，數月糧盡，議引軍還，遼謂淵曰：“數日已來，每行諸圍，豨輒屬目視遼。又其射矢更稀，此必豨計猶豫，故不力戰。遼欲挑與語，倘可誘也?”乃使謂豨曰：“公有命，使遼傳之。”豨果下與遼語，遼為說“太祖神武，方以德懷四方，先附者受大賞”。豨乃許降。遼遂單身上三公山，入豨家，拜妻子。豨歡喜，隨詣太祖。太祖遣豨還，責遼曰：“此非大將法也。”遼謝曰：“以明公威信著於四海，遼奉聖旨，豨必不敢害故也。”從討袁譚、袁尚於黎陽，有功，行中堅將軍。從攻尚於鄴，尚堅守不下。太祖還許，使遼與樂進拔陰安,徙其民河南。複從攻鄴，鄴破，遼別徇趙國、常山，招降緣山諸賊及黑山孫輕等。從攻袁譚，譚破，別將徇海濱，破遼東賊柳毅等。還鄴，太祖自出迎遼，引共載，以遼為蕩寇將軍。複別擊荊州，定江夏諸縣，還屯臨潁，封都亭侯。從征袁尚於柳城，卒與虜遇，遼勸太祖戰，氣甚奮，太祖壯之，自以所持麾授遼。遂擊，大破之，斬單於蹋頓。①
①傅子曰：太祖將征柳城，遼諫曰：“夫許，天下之會也。今天子在許，公遠北征，若劉表遣劉備襲許，據之以號令四方，公之勢去矣。”太祖策表必不能任備，遂行也。
時荊州未定，複遣遼屯長社。臨發，軍中有謀反者，夜驚亂起火，一軍盡擾。遼謂左右曰：“勿動。是不一營盡反，必有造變者，欲以動亂人耳。”乃令軍中，其不反者安坐。遼將親兵數十人，中陳而立。有頃定，即得首謀者殺之。陳蘭、梅成以氐六縣叛，太祖遣於禁、臧霸等討成，遼督張郃、牛蓋等討蘭。成偽降禁，禁還。成遂將其眾就蘭，轉入灊山。灊中有天柱山，高峻二十餘裏，道險狹，步徑裁通，蘭等壁其上。遼欲進，諸將曰：“兵少道險，難用深入。”遼曰：“此所謂一與一，勇者得前耳。”遂進到山下安營，攻之，斬蘭、成首，盡虜其眾。太祖論諸將功，曰：“登天山，履峻險，以取蘭、成，蕩寇功也。”增邑，假節。
太祖既征孫權還，使遼與樂進、李典等將七千餘人屯合肥。太祖征張魯，教與護軍薛悌,署函邊曰“賊至乃發”。俄而權率十萬眾圍合肥，乃共發教，教曰：“若孫權至者，張、李將軍出戰；樂將軍守，護軍勿得與戰。”諸將皆疑。遼曰：“公遠征在外，比救至，彼破我必矣。是以教指及其未合逆擊之，折其盛勢，以安眾心，然後可守也。成敗之機，在此一戰，諸君何疑?”李典亦與遼同。於是遼夜募敢從之士，得八百人，椎牛饗將士，明日大戰。平旦，遼被甲持戟，先登陷陳，殺數十人，斬二將，大呼自名，衝壘人，至權麾下。權大驚，眾不知所為，走登高塚，以長戟自守。遼叱權下戰，權不敢動，望見遼所將眾少，乃聚圍遼數重。遼左右麾圍，直前急擊，圍開，遼將麾下數十人得出,餘眾號呼曰：“將軍棄我乎!”遼複還突圍，拔出餘眾。權人馬皆披靡，無敢當者。自旦戰至日中，吳人奪氣，還修守備，眾心乃安，諸將鹹服。權守合肥十餘日，城不可拔，乃引退。遼率諸軍追擊，幾複獲權。太祖大壯遼，拜征東將軍。①建安二十一年，太祖複征孫權，到合肥，循行遼戰處，歎息者良久。乃增遼兵，多留諸軍，徙屯居巢。