不到多長一段時間，郎中令石建死了，這時皇上就召見李廣，讓他接替石建任郎中令。元朔六年李廣又被任為後將軍，跟隨大將軍衛青的軍隊從定襄出塞，征伐匈奴。許多將領因斬殺敵人首級符合規定數額，以戰功被封侯，而李廣的軍隊卻沒有戰功。
經過了兩年的時間，李廣以郎中令官職率領四千騎兵從右北平出塞，博望侯張騫率領一萬騎兵與李廣一同出征，分行兩條路。行軍約幾百裏，匈奴左賢王率領四萬騎兵包圍了李廣，李廣的士兵都很害怕，李廣就派他的兒子李敢騎馬往匈奴軍中奔馳。李敢獨自和幾十名騎兵飛奔，直穿匈奴騎兵陣，又從其左右兩翼突出，回來向李廣報告說：“匈奴敵兵很容易對付啊！”士兵們這才安心。李廣布成圓形兵陣，麵向外，匈奴猛攻，箭如雨下。漢兵死了一半多，箭也快用光了。李廣就命令士兵拉滿弓，不要放箭，而李廣親自用大黃弩弓射匈奴的副將，殺死了好幾個，匈奴軍才漸漸散開。這時天色已晚，軍吏士兵都麵無人色，可是李廣卻神態自然，更加注意整頓軍隊。軍中從此都很佩服他的勇敢。第二天，又去奮力作戰，博望侯的軍隊也趕到了，匈奴軍才解圍退去。漢軍非常疲憊，所以也不能去追擊。當時李廣軍幾乎全軍覆沒，隻好收兵回朝。按漢朝法律，博望侯行軍遲緩，延誤限期，應處死刑，用錢贖罪，降為平民。李廣功過相抵，沒有封賞。
在那時，李廣的堂弟李蔡和李廣一起侍奉文帝。到景帝時，李蔡累積功勞已得到年俸二千石的官位。武帝時，做到代國的國相。元朔五年（前124）被任為輕車將軍，跟隨大將軍衛青攻打匈奴右賢王有功，達到斬殺敵人首級的規定，被封為樂安侯。元狩二年（前121）間，代公孫弘任丞相。李蔡的才幹在下等之中，聲名比李廣差得很遠，然而李廣得不到封爵和封地，官位沒超過九卿，可是李蔡卻被封為列侯，官位達到三公。李廣屬下的軍官和士兵們，也有人得到了侯爵之封。李廣曾和星象家王朔私下閑談說：“自從漢朝攻打匈奴以來，我沒有一次不參加。可是各部隊校尉以下的軍官，才能還不如中等人，然而由於攻打匈奴有軍功被封侯的有幾十人。我李廣不算比別人差，但是沒有一點功勞用來得到封地，這又是什麼原因呢？難道是我的骨相就不該封侯嗎？還是本來就命該如此呢？”王朔說：“將軍自己回想一下，難道曾經有過值得悔恨的事嗎？”李廣說：“我曾當過隴西太守，羌人有一次反叛，我誘騙他們投降，投降的有八百多人，我用欺詐手段在當天內把他們都殺了。直到今天我最大的悔恨隻有這件事。”王朔說：“能使人受禍的事，沒有比殺死已投降的人更大的了，這也就是將軍不能封侯的原因。”
不久後，李廣隨大將軍衛青出征匈奴，出邊塞以後，衛青捉到敵兵，知道了單於住的地方，就自己帶領精兵去追逐單於，而命令李廣和右將軍的隊伍合並，從東路出擊。東路有些迂回繞遠，而且大軍走在水草缺少的地方，勢必不能並隊行進。李廣就請求說：“我的職務是前將軍，如今大將軍卻命令我改從東路出兵，況且我從少年時就與匈奴作戰，到今天才得到一次與單於對敵的機會，我願做前鋒，先和單於決一死戰。”
在暗中大將軍衛青曾受到皇上的警告，認為李廣年老了，命運不好，不要讓他與單於對敵，恐怕不能實現俘獲單於的願望。那時公孫敖剛剛丟掉了侯爵，任中將軍，隨從大將軍出征，大將軍也想讓公孫敖跟自己一起與單於對敵，故意把前將軍李廣調開。李廣當時也知道內情，所以堅決要求大將軍收回調令。衛青無論怎樣也不答應他的請求。一氣之下，李廣不辭而別就回到軍中，從東路進發了。軍隊沒有向導，迷失道路，結果落在大將軍之後。大將軍與單於交戰，單於逃跑了，衛青沒有戰果隻好回兵。大將軍向南行渡過沙漠，遇到了前將軍和右將軍。李廣謁見大將軍之後，回到自己軍中。大將軍衛青派長史帶著幹糧和酒送給李廣，順便向李廣詢問迷失道路的情況，還要給天子上書報告詳細的軍情。李廣沒有回答。衛青派長史責令李廣幕府的人員前去受審對質。李廣說：“校尉們根本沒有什麼罪，是我自己迷失了方向，現在我準備到大將軍幕府去受審對質。”
來到了大將軍幕府，李廣對他的下屬說：“我從少年起與匈奴打過大小七十多仗，如今有幸跟隨大將軍出征同單於軍隊交戰，可是大將軍又調我的部隊去走迂回繞遠的路，偏又迷失道路，難道不是天意嗎！況且我已六十多歲了，畢竟不能再受那些刀筆吏的侮辱。”於是就拔刀自刎了。李廣軍中的所有將士都為之痛哭。百姓得知這個消息之後，不論認識的不認識的，也不論老的少的都為李廣流鼻落淚。