公元前123，他再次出山随大将军卫青的军队从定襄出塞，大胜却没有战功；公元前120年，李广以郎中令官职率四千骑兵从右北平出塞，率几千骑兵配合张骞部攻击匈奴，奋战两日，几乎全军覆没，只好收兵回朝。按汉朝法律，博望侯行军迟缓，延误期限，应处死刑，李广功过相抵没有封赏。
李广后来这几场战争中，是一次不如一次，屡走下坡路，因为在公元前119年，出击跨大漠远征匈奴本部的漠北之战，就没有再请李广了，不服老的李广不肯认定自己不中用了，三番五次请求皇上让自己参战，皇帝拗不过他只好答应了，此时的李广已经70多岁了，随卫青征战出任前将军。
汉军出塞后，卫青捉到匈奴兵，知道了单于驻地，命李广所部与右将军的部队合并，从东边走。东路绕道、路远，肯定不能按时与中军汇合，李广深知这一点，便向卫青请求道：“我是前将军，自然该打先锋，您却让我走东路。我好不容易才有了面对单于（匈奴最高首领）的机会，我愿意冲在前面，先死于单于之手。”出征前，汉武帝曾暗中告诫卫青，说李广年纪大了不如从前了，多盯着李广免得误事。加之，卫青还有个私心，他的救命恩人公孙敖不久前被武帝剥夺了侯爵的名位，卫青想让他与自己居中军与匈奴接战，也给他个立功的机会。因此，卫青没有答应李广的请求，他甚至当着李广的面让部下把命令直接送到李广的军营里去。这个举动是令李广羞愧难当，面带怒色起身返回自己军营，果不出李广所料，东路绕远，又没向导，李广的部队迷失了方向，没赶上与匈奴作战。而卫青这次作战也没有胜利，这场战争以失败告终。
一生经历无数次冲锋陷阵，居然会在交接时迷路，这无疑给了李广这个老将一个响亮的耳光，战败不说被卫青排挤还受到他人的另眼相看，有负皇恩，想到这些李广悲愤不已，遂拔刀自刎。
