武帝即位后，众大臣认为李广是名勇将，武帝于是调李广任未央宫的卫尉。当时程不识任长乐宫卫尉，两人从前都曾在边境担任太守，却有着截然不同的治军方法。李广治军简易，行军没有严格的编制、队列和阵势，常找靠近水源的草地驻扎，士兵们行动自由随意，夜间不用派人打更巡视，军队的文书簿册一概从简，但也远远布置侦查人员，所以没遭遇过危险。程不识则以严格治军而闻名，他注重部队的编制、队列和阵势，每天晚上都要打更巡逻，文书簿册都做得非常细致，负责的军官往往要忙到天亮，军队得不到休息，也没遇到过危险。
这两种不同的治军方法，究竟孰长孰短？程不识评价说：“李将军治军简易，但敌人突然袭击，就很难掌控。然而他的士卒安逸快乐，愿意为他出死力。我治军烦琐，然而敌人不敢轻易来犯。”司马光认为：效仿程不识，就算不立功，也不会打败仗；效仿李广，很难不全军覆没，李广虽然得到了士兵的支持和爱戴，却犯了兵家大忌，也注定了他的悲惨结局。当时李广和程不识都是边郡名将，从实际效果看，匈奴人更惧怕李广，士卒也更乐于跟随李广，而苦于跟随程不识。
武帝元光二年，武帝听从王恢之言，在马邑埋伏重兵意图围歼匈奴，李广当时是骁骑将军，归属护军将军韩安国指挥，但后来匈奴单于察觉了汉朝的意图，随即撤兵，汉军无功而返。
又过了四年，李广以卫尉身份担任将军，率军从雁门出击匈奴，因寡不敌众，汉军损失惨重。军臣单于早就听说李广的贤能，下令：“一定要生擒李广。”李广身负重伤，被匈奴人擒获。匈奴人把李广放在两匹马中间，让他躺在用绳子结成的网袋里。李广假装昏迷，走了十余里路，斜眼瞧见旁边有个匈奴少年骑着一匹好马，突然纵身跃起，跳上匈奴少年的战马，把少年推下马，摘下他的弓箭，策马扬鞭向南奔驰。匈奴数百骑兵紧紧追赶，李广边跑边射杀追兵，终于逃脱，收集残余部队，回到了京师。朝廷把李广交给廷尉，廷尉认为李广军队损失太大，自己还被匈奴人活捉，判令当斩。李广花钱赎罪，成为平民。
这一仗李广运气不佳，但李广在受重伤的情况下，仍能够腾空飞跃到不远处的马背上，缴获良驹弓箭，逃离几百名骑兵的追赶，回到汉营，真是奇迹，他的神勇更是深深折服了匈奴人，自此，李广在匈奴人口中被称为“汉之飞将军”。
时间一晃而过，李广在家已经闲居几年，他和已故颖阴侯灌婴的孙子灌强都隐居在蓝田南山中，常常一起在山中打猎。一天晚上，李广带一名随从外出，到田间和朋友喝酒。回来时路过霸陵亭，霸陵亭尉喝醉了酒，上前喝斥李广，不准他通行。李广的随从上前通报说：“这是前任李将军。”霸陵尉说：“别说是什么前任，就算是现任将军也不能夜间通行。”李广只好在霸陵亭下过了一夜。
此后不久，匈奴入侵辽西郡，杀了辽西太守，打败了韩安国。韩安国改任右北平太守，死在任上。武帝想起来了李广，封他为右北平太守。李广请求武帝调霸陵尉和他一起去，结果一到军中，就把霸陵尉杀了，然后上书向武帝请罪。武帝回复：“将军是国家的爪牙，《司马法》讲：‘登上战车，不必行礼，遭遇丧事，不穿孝服，抚师振旅，讨伐逆贼，统率三军，振奋士气；将军形怒，则千里惊悚，将军发威，则万物恐惧；因此才能够威名远扬，威震夷貊，慑服敌国。’将军有仇则报，有贼即除，以清除胸中积怨，这正是我所要求的；如果有一点过失，将军就免冠赤脚，叩头谢罪，这不是我所希望的。”用人之际，武帝并没有因此责备李广，反而欣赏他的做法，但这件事从一个侧面反映出李广心胸的狭窄，成了他一生中的污点，后人因此评价他睚眦必报、公报私仇。
韩信当年“胯下之辱”，成为楚王后，不仅没有报复当年羞辱他的少年，还提拔他为中尉；“死灰复燃”的主角韩安国，面对前来请罪的狱卒，根本就不屑惩罚，而是善待他。成大事者，心胸、格局必是宽广的，李广在这一点上，存在着性格上的致命弱点！有时候升官封侯，不仅仅凭藉军功，人际关系、为人处事也是颇为重要，这也许是“李广难封”的一个原因。
那李广在右北平又有什么遭遇呢？请听下回分解。