可是邊境的緊張形勢始終沒有緩解，在家閑居了幾年的李廣再次被武帝征召，並被任命為右北平太守。李廣重新任職之後，匈奴稱他為“漢朝的飛將軍”，十分害怕他，還想方設法不與他的軍隊正麵相遇，好幾年時間沒有入侵右北平。有一次李廣外出狩獵，以為一塊巨石是一隻老虎，便搭箭射擊，箭頭居然射入了石頭裏麵，足見李廣的功夫非凡。後來，李廣真的遇上了老虎，當即拉弓射虎，老虎雖然傷到了他，但最終仍被李廣射死。
李廣為人清正廉潔，每逢得到了賞賜就與部下分享，平常吃飯還與士卒們在一起。李廣一生，擔任二千石年俸祿的官職長達四十多年，家裏竟沒有多餘的財產，他也不喜歡談論錢財之類的事情。李廣率兵在外，來到缺糧斷水的地方，一旦發現水源，首先讓士卒們先喝，士卒們沒有喝夠，他就不靠近水源。吃飯也一樣，士卒們還沒有吃上飯，李廣就不吃。由於他對士卒始終保持著溫情寬厚的作風，士卒們都願意以死來報答他。
自漢朝建立以後，每一次與匈奴較大規模的交戰，李廣幾乎都參加了。武帝元狩四年（公元前119年），漢朝大將軍衛青、驃（piào）騎將軍霍去病率領強大軍隊攻打匈奴，李廣多次要求參加。漢武帝認為他年事已高，沒有準許。李廣繼續請求，漢武帝方才答應，任命他為前將軍。李廣便跟隨衛青出塞。
衛青從俘虜的嘴裏得知了匈奴單於之所在，便親自率兵前去追擊，同時命令李廣與右將軍的部隊會合，沿東路進發。東路路途迂回繞遠，且必須行進在水草缺少的地方，無法駐紮軍隊。李廣便向衛青請求：“我是前將軍，您卻命令我沿東路進發。我自從成年後一直率兵與匈奴交戰，到了今天才有了與匈奴單於直接相遇的機會。所以我希望能成為前鋒，與單於決一死戰。”可衛青已悄悄地接受過武帝的告誡，說李廣年事已高，不宜率兵與匈奴單於的軍隊直接相遇，以免發生意外。何況中將軍公孫敖剛失去爵位，一心想跟從衛青與單於決戰，以建立戰功，這樣就必須調開李廣。李廣搞清了這樣安排的所有原因後，堅決不同意自己的部隊與右將軍的部隊會合，甚至提出辭職，衛青沒有答應他。李廣便在不向衛青告辭的情況下，怒氣衝衝地趕回自己的軍營，並與右將軍趙食率領的部隊一起沿東路進發。由於沒有向導，將士們很快迷了路，無法配合衛青所率的部隊。衛青與單於的軍隊相遇後交戰，因沒有兄弟部隊配合，導致單於逃走。後來，衛青在沙漠上與李廣、趙食等將領會合。衛青詢問部隊何以迷路，並準備上書向武帝稟報此事。李廣對此沒有解釋，衛青便派人到李廣的部隊去調查，還準備處罰一批將士。李廣這時才說：“將士們都是沒有錯的，是我自己迷了路，我願意接受處罰。”
在前往衛青的大將軍駐地前，李廣悲傷地感歎道：“我李廣自從成年後一直率兵與匈奴交戰，至少打過七十多仗。這次有幸跟隨大將軍，獲得與單於直接相遇的機會，可大將軍卻把我的部隊調往東路，行進在水草缺少的地方，最後導致單於逃走。難道這是天意嗎？我已經六十多歲了，回京城後，難道還要再受那些刀筆小吏的侮辱嗎？”說完便拔刀自殺。李廣的部下們為之痛哭，百姓們也知道了此事，不論認不認識李廣，不論男女老少，也都為英雄的離去而痛哭。