楊業在抗宋的戰爭中，從史書記載上看，大都打了敗仗。宋軍並不驍勇，隻是數量上遠遠超過北漢的軍隊。楊業同契丹作戰，多是“所向克捷”，惟獨與宋軍對仗處於失敗地位。這是由於史書作者的正統觀念很強，寫進史書的大都是有利於宋朝的事，但同時也說明楊業抗宋的鬥誌遠不如抗遼那麼足。
宋太祖死後，他的弟弟趙匡義即位，就是宋太宗。趙匡義即位後，到太平興國四年（979），南方諸國都已削平，攻打北漢就成為完成統一的首要任務。這年二月，趙匡義集中兵力親自伐漢。為了防止遼出兵救援北漢，趙匡義以一部分兵力先攻占太原以北的忻州（今山西忻縣）石關嶺一帶。當契丹的幾萬援兵到了忻州，就被宋軍擊敗。三月底宋軍包圍了太原。至五月初，太原附屬的小城羊馬，被宋軍占領。北漢的統兵將領都指揮使郭萬超逾城投降，北漢軍心瓦解。楊業對這次戰爭的形勢是看得很清楚的。宋朝集中軍事主力來對付北漢，而當時的北漢隻剩下十來個州的土地和三萬五千多戶居民，同宋朝的實力相差太大。所以，在宋軍圍攻太原時，楊業從北漢主的出路和河東百姓的利益出發，勸劉繼元降宋。劉繼元拒不接受投降。後來，北漢都指揮使投降宋軍，劉繼元的親信大臣也都紛紛逃散，城中危急，劉繼元走投無路，隻好派人奉表出降，北漢至此滅亡。趙匡義早已聽說楊業驍勇無敵，曾派人收買他，楊業不從。北漢主投降以後，趙匡義召見楊業，楊業在北漢二十九年，很受北漢王的重用，他為感激知遇之恩，向北叩拜，大哭一場，算是告別北漢，然後解甲來見趙匡義。趙匡義大喜，賞給他許多東西，讓他恢複原來的姓氏，單名一個業字，在自己的身邊擔任散職，做右領軍衛大將軍。楊業降宋，立即受到封賞，這不僅是由於宋太宗賞識他，更重要的是因為他曾勸說北漢主降宋，宋太宗授予楊業官職時的詔令，即表彰他“定策乞降”，為宋朝立下了大功。一些史書記載，楊業在降宋之前，仍然據城苦戰。那是因為，楊業雖然向北漢主提出了降宋的建議，但在這個主張實現以前，他認為必須繼續忠於職守，這同他的建議並不矛盾。楊業從抗宋到降宋，表明他不僅驍勇善戰，而且也是一個很有見識的將領。
北宋滅北漢時，擊敗了遼大將耶律沙的幾萬援軍，斬殺了五員敵將和上萬士卒，這就使宋太宗增長了伐遼的勇氣。不過，宋軍將士出征日久，加之在北漢擄掠許多財物，所以，人人思歸，不想伐遼。太平興國四年（979）六地位高的就稱“駐泊兵馬都部署”，楊業以“三交駐泊兵馬都部署”兼代州知州，具體地說，就是統轄並州路的禁軍和代州的地方軍，同時兼管代州民政。代州的重要性在於雁門關。代州北邊四十裏就是重巒迭嶂的雁門山。雁門山的斷崖峭壁間，有條崎嶇曲折的路，號稱天險，它就是著名的雁門關。自古以來這兒都是兵家必爭之地。出了雁門關就是遼國。代州稱得上是宋朝的邊防重地。宋太宗委任楊業擔任這個職務，可以說是對他的很大信任。誌在疆場的老將楊業，也很樂於擔當起防守宋王朝北界的任務。楊業從宋朝中央領導的禁軍，加上代州一州的廂軍，不過幾千人，而契丹從代州南下的軍隊，常有上萬人，甚至十萬人。楊業不畏艱難，在當地人民支持下，以傑出的軍事才能和豐富的作戰經驗，經常打敗入犯的遼軍。他雖然不知書，但作戰勇敢，又有智謀，平時注意將士的攻戰訓練，能與士卒同甘苦。代北冬天寒冷，當地人大多穿著皮衣，楊業隻穿絮有棉絮的衣服。他的衙門也不生火，侍從都凍僵得倒了，他卻絲毫不感到寒冷。他從政簡易，關心屬下，所以士卒都願為他出力。
楊業赴任不到三個月，在太平興國五年（980）三月，遼景宗就親率十萬大軍進犯雁門關。楊業命部將董思願守住雁門關峽穀南口，自己親率數百騎從西陘（雁門關峽穀西支），繞道至雁門關峽穀北口，猛攻遼軍，殺了遼朝的駙馬侍中蕭咄李，活捉馬步軍都指揮使李重海，繳獲無數馬匹盔甲武器。楊業因功升為雲州觀察使，仍為代州刺史，並兼鄭州防禦使。從此，遼軍望見楊業的旌旗，就自動退去。
太平興國七年（982）四月，契丹分三路伐宋，中路三萬人攻雁門。楊業在雁門關大敗遼軍，斬遼軍將士三千，乘勝追逐到朔州（今山西朔縣）、寰州（今山西朔縣東北馬邑鎮）和應州（今山西應縣）等地，攻破遼軍營壘三十六座，俘獲遼軍一萬多人，得到牛馬羊五萬多頭。
在楊業駐守代州的七八年裏，遼軍從未攻入過雁門關，河東百姓過上了安寧的生活。為此，河東人民世代傳誦他英勇戰鬥的事跡。
楊業的戰功，也遭到同僚的妒忌。和他一起戍邊的主將還上書宋太宗，誹謗楊業。宋太宗看後就把這些奏疏封起來送給楊業，表示對楊業的信任，以此換取楊業對他的忠誠。但另一方麵，宋太宗明知這些奏疏純屬誣陷之詞，對上書者卻不加追究，實際上是鼓勵他們繼續陷害忠良。因為，他需要一些人向他提供邊將的情況，以便加以控製。
從宋太宗親自率兵討伐幽州（宋稱遼的南京仍為幽州）以後，宋遼之間沒有大的戰爭。太平興國七年（982），遼景宗死，長子隆緒即位，就是遼聖宗。聖宗即位時隻有十二歲，國事主要由母親蕭太後主持。宋朝的邊臣紛紛上書宋太宗，乘遼朝主幼、太後專權、國人不服的機會，收取燕雲十六州。宋太宗自太平興國征遼慘敗之後，也一直耿耿於懷，想要滅亡遼國，挽回麵子，因此，他同意臣下的意見，積極做北伐的準備。不過，當時的遼朝對邊防並沒放鬆，遼聖宗即位的當年，蕭太後就命耶律休哥為燕京留守，總領南麵事務。在宋朝“築城河北，聚糧邊境”的同時，耶律休哥也在“勸農桑，修武備”，加強邊境的防備。
經過幾年的準備，雍熙三年（986）三月，宋太宗出動三十萬大軍，向遼朝發動了大規模的進攻。這次宋太宗雖然沒到前線，但一切軍事行動都由他親自指揮。宋軍分二路出兵，東路由曹彬、米信率領宋軍主力，從雄州（今河北雄縣）出擊；中路由田重進率領，出飛孤（今河北浹源北）；西路由潘美任主帥，楊業為副帥，出雁門。按照宋太宗的部署，計劃以東路曹彬的軍隊攻打涿州（今河北涿縣）吸引遼軍主力，然後中路、西路繞道遼的南京北邊，三路合圍，攻取南京。
戰爭的初期，三路大軍都捷報頻傳。曹彬的東路軍取得固安、新城兩縣，然後攻克涿州，擊敗遼軍。中路的田重進連克飛孤靈丘和蔚州（今河北蔚縣）。西路軍的戰果尤為輝煌。楊業率軍從西陘北出，先在雁門穀北口擊敗遼軍，然後追擊至寰州，寰州的遼朝守將趙彥章舉城投降。楊業的兒子楊延昭進圍朔州。朔州的遼兵守將趙希讚抵抗失敗，也開門納降。楊業父子轉攻應州，遼的守將艾正等投降。雲州（今山西大同），也被楊業父子收複。他們又進兵渾源廣同田重進在恒山之下會師。代北居民聽說宋軍到來，紛紛前來歡迎，見了楊業的隊伍，熱淚盈眶。他們熱情支持宋軍，有的充當向導，有的供應軍需，有的乘夜斬遼軍首級來獻，還有的參加宋軍打仗。楊業下令征募壯士，成百上千的人前來應征。
麵對宋朝的全麵進攻，遼朝忙調集各路軍隊，令耶律休哥抵禦宋軍主力曹彬的軍隊，派耶律斜軫抵禦潘美、楊業。蕭太後和遼聖宗親至南京督戰。宋軍雖然取得了很大的勝利，但因兵力分散，相互不能很好地配合，加之糧草供應不及時，給遼軍的反擊提供了條件。四月，曹彬在涿州遇到耶律休哥的軍隊，糧食不繼，蕭太後和遼聖宗的援軍已到了涿州東。遼軍兩邊夾擊，曹彬從涿州敗退。五月，曹彬和遼軍在涿州西南四十裏的岐溝關大戰。宋軍敗退，夜渡拒馬河，耶律休哥引精兵追擊，宋軍掉到河裏淹死的不計其數。曹彬退到易州，在州東沙河駐營，聽說耶律休哥領兵來了，宋軍爭渡沙河，死亡過半，史書上記載“沙河為之不流”，曹彬的主力軍全部潰敗。宋太宗得悉東路軍潰敗，伐遼的勇氣一下全沒了，急忙下令讓中路、西路兵馬撤退：令田重進屯定州，潘美、楊業退守代州，徙雲、應、朔、寰四州吏民入雁門關，分別安置在河東和京西。
那時候，遼大將耶律斜軫率十萬大軍直奔宋朝西路軍而來，先攻陷蔚州，潘美率師去救，同遼軍戰於飛孤，宋軍敗。原來已為宋占領的渾源、應州守將都棄城而逃。六月底七月初，耶律斜軫乘勝進入寰州。楊業按照宋太宗的命令率兵護衛雲、應、寰、朔四州的官吏百姓向內地遷徙。那時曹彬、田重進的兩路宋軍都已撤回，遼軍集中近二十萬人的兵力，攻擊代北的宋軍。在遼軍的優勢兵力麵前，楊業向潘美建議，不要正麵同遼軍作戰，可以領兵出大石路，向北奔應州，虛張聲勢，將遼軍的主力引向應州的西邊。同時派人密告雲州、朔州等地的守將，等宋軍離代州北上時，令雲州官吏、百姓先出來，這就不怕遼軍前來追擊了。而位於寰州的遼軍怕被宋軍切斷後路，就會轉向應州，這樣在寰州西側的朔州軍民也可乘勢南出石碣穀（今朔縣城南之上、下石峽穀），避開遼軍的襲擊危險。再在穀口安排三千弓弩手，派騎兵在中路支援，這樣三州的官吏、百姓可以萬全，陷入敵後的宋軍也能安全撤退。楊業的這個“示形於東，而務於西”的計策，在兵少而又要完成護衛幾州百姓撤退任務的情況下，是切實可行的。但是，監軍王竭力反對楊業的建議，提出了一個不顧客觀條件而蠻幹的建議。他說：“我們領數萬精兵，怎能如此怯懦？”他主張沿著雁門大路，大張旗鼓地行軍到馬邑（當時是寰州城的所在地）。另一將領劉文裕讚成王的辦法。楊業忙說：“不可，這樣勢必大敗。”王倪嘲笑楊業說：“君素號‘無敵’，今遇敵軍不戰，是不是另有什麼打算（暗指楊業是否要去投靠遼朝）？”楊業聽了這話十分氣憤，他對潘美、王等人說：“現在的形勢對我軍不利，按你們的主張去做，不是白白讓士卒送命嗎？你們說我怕死，我可以為你們打頭陣。”當時作為西路軍主帥的潘美，也要楊業執行王的方案。臨行，楊業哭著對潘美說：“這次去必然會失敗，我原是北漢的降將，早就應當死的。太宗沒有殺我，而且委為將帥，授予兵權。我並非縱敵不打，隻是想等候時機，殺敵立功，報答國家的恩典。今天各位責備我避敵，我當先去戰死。”他說著用手指著陳家穀口（今朔縣西南陳家溝）的方向說：“諸位在穀口兩側，埋伏好步兵和弓弩手。等我轉戰到這裏，就以步兵夾擊相救，不然就會全軍覆沒。”楊業說完就率領兒子楊延玉和老將王貴等，自石碣穀奔向寰州前線。
遼軍統帥耶律斜軫聽說楊業領兵前來，命先鋒蕭達攬在路上埋下伏兵。第二天早上，楊業與耶律斜軫在朔州東邊相遇，雙方交戰，耶律斜軫假裝戰敗，且戰且退。待楊業進入蕭達攬的埋伏圈，伏兵四起，耶律斜軫回師再戰，把楊業包圍起來。楊業率眾突圍，苦戰到下午，箭盡力竭，拚力殺出重圍，到達陳家穀口時天色已近黃昏。楊業見兩邊靜悄悄的，連個人影也沒有。原來潘美、王等在這兒等到上午，不見楊業到來。王以為遼兵敗了，怕楊業獨占功勞，就領兵離開了陳家穀口。潘美也沿交河西南走了二十裏。一會兒，潘美聽說楊業兵敗，但沒去接應，反而帶兵逃走。楊業氣得拍著胸口大哭，隻好率領士卒力戰。那時跟隨他的將士隻剩下百餘人。楊業對他們說：“你們都各有父母妻子，同我一起死在那裏沒什麼好處，你們跑回去還可以報告天子。”將士都感動得淚流滿麵，誰也不肯離去。老將王貴殺死幾十個遼兵，弓箭用完了，自己也被殺死。其餘士卒全部戰死，沒有一個生還。楊業的兒子楊延玉也戰死沙場。剩下楊業一人，他身受幾十處傷，還用刀砍殺了幾百個遼兵，楊業的馬也受了重傷，不能再行進。他躲到樹林裏，遼兵耶律奚達望見他的袍影，射了一箭，楊業從馬上摔下來，被捉住了。
楊業被俘後，送到遼軍統帥耶律斜軫處，耶律斜軫責備楊業說：“你同我國決勝三十多年，今天何麵目同我相見！”不過，耶律斜軫對楊業的驍勇也很敬佩，想招降他，但是遭到了楊業的堅決拒絕。蕭太後和遼聖宗事先下有密令，要耶律斜軫切勿用暗箭傷害楊業，務必活抓。遼將耶律奚達雖然捉住了楊業，但因他是用暗箭射傷再捉住的，而且又沒能勸降楊業，蕭太後非但沒有嘉獎他，反而處分了他。由此可見遼朝統治者對楊業是何等欽佩和重視。楊業一生抗遼，自然不肯降遼。他被俘後歎息說：“宋太宗待我甚厚，我總盼望打敗遼軍，捍衛邊疆以報國家。沒想到卻被奸臣嫉妒；逼著我去送死，落得全軍覆沒，還有什麼臉活在世上呢？”他在遼營絕食三天就犧牲了。楊業死時是雍熙三年（986）七月。
造成楊業之死的原因，曆來說法不一。多數認為潘美應負主要責任，因為他是西路軍的統兵主帥。他不采納楊業的正確建議，而聽從王僥的錯誤主張，以致造成楊業兵敗至陳家穀口；而潘、王又沒有按事先的約定在那兒接應，卻違約撤兵，這自然就導致楊業被俘。少數人認為，王和劉文裕應負主要責任。當時監軍權力很大，潘美不敢不聽他的，不過，持這種見解的人，也不否認潘美對楊業的死負有責任，即他沒有堅決反對王的主張，又在關鍵時刻違約撤兵。總之，楊業的死是王、潘美等人造成的。
楊業一生抗遼，從北漢時起，就在雁門地區抵禦遼兵南下，一直到歸宋以後，前後三十多年。遼兵南下擄掠，對當時北漢和後來的宋朝百姓來說，都是個很大的威脅，所以楊業抗遼就受到宋朝和宋以後曆代人民的稱頌。宋代大文學家歐陽修說，楊業、楊延昭“父子皆為名將，其智勇號稱無敵。至今天下之士，至於裏兒野豎（鄉裏兒童村夫），皆能道之（都能講出他們智勇無敵的事跡）。”楊家將故事的流傳也就從此開始。北宋的雜劇中，就有楊家將的故事。南宋時，說書人也紛紛講述楊家將的故事。據記載，那時說書人的話本裏有《楊令公》、《五郎為僧》等。元曲中的楊家將故事就更加多了。元曲大作家關漢卿，就寫過楊家將的劇本，題為《孟良盜骨》。到了明代，已有了楊家將內容的長篇小說，題為《楊家府世代忠勇通俗演義》，有關楊家將的戲曲、小說一直流傳到今天。宋朝人還為楊業修了幾座祠廟，在山西代縣有楊業的家廟，在蘇州也有楊業家廟，在北京密雲古北口有楊無敵廟，古北口的廟至今猶存。