埋伏在附近的山谷中，李广担任骁骑将军，受护军将军韩安国节制。

最后军臣单于察觉了汉军的谋划撤退，马邑之围无功而返。元光六年（公元前129年），匈奴又一次兴兵南下，前锋直指上谷（今河北省怀来县）。

汉军四路出击。车骑将军卫青直出上谷，骑将军公孙敖从代郡（治代县，今山西大同、河北蔚县一带）出兵，轻车将军公孙贺从云中（今内蒙古托克托东北）出兵，李广任骁骑将军，率军出雁门关，四路将领各率一万骑兵。卫青首次出征，直捣龙城（匈奴祭扫天地祖先的地方），斩首700人。

李广终因寡不敌众而受伤被俘。匈奴单于久仰李广威名，命令手下：“得李广必生致之”《史记·李将军列传》匈奴骑兵便把当时受伤得病的李广放在两匹马中间，让他躺在用绳子结成的网袋里。

走了十多里路，李广装死，斜眼瞧见他旁边有个匈奴少年骑着一匹好马，李广突然一跃，跳上匈奴少年的战马，把少年推下马，摘下他的弓箭，策马扬鞭向南奔驰，匈奴骑兵数百人紧紧追赶。李广边跑边射杀追兵，终于逃脱，收集馀部回到了京师。

汉朝廷把李广交给法官，法官判李广部队死伤人马众多，自己又被匈奴活捉，应当斩首，后用钱赎罪，成为平民。但李广展现出的惊人骑射技术给匈奴人留下深刻的印象，这正是匈奴称其为“汉之飞将军”的由来。

李广赋闲期间，曾和颍阴侯灌婴的孙子灌强到蓝田南山（蓝田南山，今陕西蓝田县东。蓝田南山是显官屏居游乐的地方。魏其侯窦婴谢病，亦屏居蓝田南山下数月。）中隐居游玩。曾有一次在夜间带着一个随从骑马外出，跟别人在乡间饮酒。

归来时路过霸陵亭，霸陵夜间宵禁，霸陵亭尉喝醉了酒上前大声呵斥广不让通行。李广的随骑说：“这是前任的李将军。”