在李陵下达撤退的命令的时候，恰逢李陵军中有一个叫管敢的军侯，因被校尉凌辱而投降了匈奴。对单于说：“李陵的军队没有援兵来救，并且箭已快用完了，只有李陵将军麾下和成安侯手下各八百人排在阵前，派精兵射杀旗手即可破阵了。”他说的成安侯，是韩延年，他的父亲韩千秋曾担任过济南相，进攻南越时战死，武帝便封他为侯，在李陵军中做校尉。单于非常高兴得到这个消息，命骑兵合力攻打汉军，边打边喊：“李陵、韩延年快降！”接着切断了汉军的退路，猛烈攻打李陵。李陵处在山谷底，敌人在山坡上从四面射箭，箭如雨下。
汉军坚持南行，未等冲到轩汗山，一天之中五十万支箭已全部用光，于是舍弃战车而行。当时，汉军还剩兵士三千多，赤手空拳的就斩断车轮辐条当武器，军吏们也只有短刀。最后又因被一座大山阻住去路而折入峡谷。单于切断了他们的退路，在险要处滚下垒石，很多士卒被砸死，不能前进。黄昏后，李陵换上平常的衣服，独自一个人走出营帐，拦住左右说：“让我一个人去去掉单于！”李陵过了很久才回来，叹息说：“兵败如此，唯求一死！”军吏说：“将军威震匈奴，皇上不会让您死，以后可想别的办法回去，对浞野侯那样的人，被匈奴俘获后逃了回去，皇帝尚且以礼相待，何况将军您呢！”李陵说：“您别说了，壮士死而后已！”于是他叫部下砍断旌旗，掩埋珍宝。又扼腕道：“再有几十支箭，我们足以逃跑了，可现在手无寸铁，没有能力再与匈奴作战，天一亮就只有束手待擒了。不如作鸟兽散，还可能有人逃回去奏报皇上。”他令将士们每人拿上一大块冰，二升干粮，约定在边塞遮虏鄣会合，准备夜半时分击鼓突围。但到夜半时，鼓却没有击响。李陵与韩延年一同上马，十多名壮士和他们一道冲出。匈奴发现后率领几千名骑兵追击他们。韩延年战死，李陵长叹：“我无脸面去见陛下呀！”于是下马投降了。他的部下都趁机四散逃命去了，逃回塞内的仅四百余人。
李陵兵败的地方离汉边塞只有一百多里地消息很快被人知晓，边塞把情况报告给朝廷。武帝以为李陵战死，就把他母亲和妻子召来，要相面的人来看，相面的人说他们脸上并没有死丧的气色。后来得知李陵已降匈奴，武帝大怒，责问陈步乐，陈步乐因害怕被治罪而自杀。
很久以后，武帝才悔悟到李陵之所以投降是因为没有援兵，说：“李陵出塞之时，本来诏令强弩都尉接应，只因受了这奸诈老将奏书的影响又改变了诏令，才使得李陵全军覆没。”于是派使者慰问赏赐了李陵的那些死里逃生的部下。
李陵在匈奴一年后，武帝派因杆将军公孙敖带兵深入匈奴境内接李陵。公孙敖没有完成武帝交给的任务，带兵而回，对武帝说：“听俘虏讲，李陵在帮单于练兵以对付汉军，所以我们接不到他。”武帝听到后，盛怒之下将李陵的全族都处以死刑，陇西一带士人都以李陵不能死节而连累家室为耻。此后，有汉使到匈奴，李陵对使者说：“我为汉朝领步卒五千横扫匈奴，因无救援而败，有哪一条对不起汉朝，而皇帝却杀了我全家？”使者说：“皇上听说李少卿在为匈奴练兵。”李陵说：“那是李绪，不是我。”李绪本来是汉朝的塞外都尉，驻守奚侯城，因匈奴攻城而投降。单于对他礼遇有加，给他的官职比给李陵的还大。李陵痛恨因他为匈奴练兵而使自己全家被诛，便派人刺杀了李绪。为此，大阏氏便想杀掉李陵，单于把他藏到北方去了，大阏氏死后才把他接回来。
单于很器重李陵，把女儿嫁给他，立他为右校王，立卫律为丁灵王，他们都成了匈奴军中掌权的贵族。卫律的父亲本是长水胡人，但他却在汉朝出生长大。他同协律都尉李延年交情甚笃，李延年推举他出使匈奴。出使回来，正遇上李延年因罪而被斩，卫律害怕受株连，就出逃投降了匈奴。他很受单于宠爱，经常侍奉在单于的身边。李陵则住外面，遇到大事才召入计议。