非常道李克用死后，李存勖继承了他晋王的职位。他每次出兵作战总是在锦囊里放三支箭，让士兵背着。正是有着这种不忘屈辱、矢志图强的抱负，李存勖终于实现了父亲的遗愿，也成就了自己的一番事业。
公元884年，李克用打败黄巢起义军，在返回河东途中经过朱温的驻地汴州。朱温害怕李克用的势力强大，对自己不利，一心想消灭他。李克用一到，朱温表面上对他非常客气，把他接进驿馆，设宴招待，暗地里却在驿馆四周埋下伏兵。
到了深夜，伏兵突然杀进馆舍。李克用正吃醉了酒，呼呼大睡。幸好他的随从拼死相救，用褥子把他裹起来，藏在床底下，才没有被杀。就在这时，突然来了一阵闪电雷雨，李克用和随从乘机逃出驿馆，狼狈地回到军中。打这以后，李克用就和朱温结下了深仇，两人经常打来打去。
朱温灭唐建梁，李克用不服，仍旧用唐朝“天祐”年号，打着兴复唐朝的旗子，跟后梁对抗。当时，北方的契丹族逐渐强大起来，首领耶律阿保机统一各部，建立了政权。他带领三十万军马，攻打云州（今山西大同）。李克用决计利用契丹的力量，一道对付朱温。
李克用派人和耶律阿保机联系，在云州东城跟他相会，并和他结为兄弟，约定当年冬天一起出兵攻打梁朝。耶律阿保机在李克用军营中逗留了十天，李克用送给他很多金帛，他也回送给李克用很多马匹和其他牲畜。不料耶律阿保机一回契丹，看到梁朝势力强大，马上背弃盟约，倒向梁朝一边了。李克用知道后怒不可遏，却又无计可施。
公元908年，李克用不幸生了毒疮，眼看治不好了。他临死时，拿出三枝箭，交给儿子李存勖，郑重地嘱咐他说：“梁朝是我的仇家，这你知道。燕王刘仁恭、刘守光父子是靠我的推荐担任卢龙军节度使据有幽州的，契丹的耶律阿保机曾经和我相约结为兄弟，他们却都背弃了我，归顺梁朝，跟我作对。这三件事，都是我遗留下来的恨事。如今给你三枝箭，你千万别忘记你父亲未了的心愿！”
李存勖接过了箭，答应一定给父亲报仇。李克用一死，李存勖就继承了他的爵位，做了晋王。他继位以后，下令把这三枝箭供奉在宗庙里。以后每次出兵作战，他就派人去拿出这三枝箭，放在一个锦囊里，让人背着，走在队伍的前面，等到作战回来，再放回宗庙。
他刚继晋王之位时，先任命李存璋为河东马步都虞侯兼军城使，负责整顿军纪。李存璋立即部署，打击扰乱军纪的将士，诛杀了几个首领，没过几天，军纪大振，百姓们拍手称快。等破了潞州之围，李存勖又进一步全面整顿，不仅是军纪，而且涉及政治与经济各个方面。他命令各州县保举贤良之人充任官吏，罢黜地方的贪官污吏。同时减轻人民的租赋税收，抚恤孤儿与老人，为民平反冤狱，严厉打击盗贼。
此外，李存勖还身体力行，每当路上遇到饥寒的百姓，就下马亲自慰问。从此，河东地区民心依附，百姓开始安居乐业。经济的发展反过来又为李存勖的作战提供了有力的物质保障。
军队的整顿更是重点，为提高战斗力，他制定了严格的军律，下令骑兵在见到敌人之前不准乘马，步兵和骑兵战斗部署已定时，必须保持严整的队形和阵势，不得随意跨越防区地界，以防止发生混乱，给敌人可乘之机。分路进军时，到达集结地的时间不得延迟，违者斩首。
这次改革收到了极大的效果，三军将士作战都勇猛向前，以一当百。同时，李存勖还将自己的音乐才能用于军队，自写歌词，自谱曲子，让将士一起放声高唱，称为御制军歌，作战前不论上一次是胜是败，都要齐唱军歌，所以将士们在作战时都忘掉了生死。唱歌打仗可算是李存勖用兵之一绝。河东兵都穿着黑衣，铠甲也用黑衣包裹，所以被称为“鸦军”。不过，他们唱的军歌肯定比乌鸦唱得好听。
经过努力，不但军队的战斗力大增，经济实力也有了很大的提高，李存勖的力量比父亲李克用时要强很多，所以才能在和朱温的对抗中逐渐地占了上风，为日后夺取山东，灭掉后梁打下了坚实的基础。
李克用死后不久，晋军与梁军对峙潞州，李存勖想立即出兵解围，但是有人认为服丧期间不宜出兵，李存勖则对众人分析道：“敌人以为我们正在服丧，肯定不会出兵作战，况且又认为我年轻，刚刚接替父亲之位，肯定没有治国能力，更不用说领兵打仗了。这样，敌人一定会精神懈怠毫无防备，如果这时我们突发奇兵，先发制人，那一定会成功的。”
说服了众人后，李存勖立即整军出发，直扑潞州的梁军。部队出发后，路过三垂岗，李存勖不由得想起二十年前父亲在此地饮酒所说的那番话，异常感慨，暗下决心要将梁军彻底击溃。趁着漫天浓雾，率领周德威等将领分兵直捣梁军的营寨，梁军果然毫无防备，被李存勖杀得丢盔弃甲，狼狈逃窜。这次奇袭成功大大挫败了梁军的锐气。
朱温闻讯，惊讶得张大了嘴，半晌才挤出一句话来：“生儿子就应当生李亚子这样的！李克用虽死犹生，我的儿子们与之相比，都是些猪狗之类无用的东西。”
过了两年，李存勖又率领大军，在柏乡（今河北邢台北）把后梁军打得大败。这一仗，后梁损失更重，被杀的将士就有两万多人。从此，后梁军都对李存勖产生了恐惧心理。
朱温不断吃败仗，后来又出动五十万大军，想和李存勖决战，结果还是被李存勖打得溃不成军。朱温又气又火，一病不起，公元912年，被次子朱友杀死了。
接着，李存勖又乘机出兵打破幽州，活捉了刘仁恭、刘守光父子，把他们押回太原杀了，完成了李克用交给他的一项任务。
朱温死后，朱友自立为帝。第二年，朱温的第三子朱友贞不服，发动兵变。朱友被迫自杀，朱友贞即位做皇帝，就是后梁末帝。以后，李存勖的主要对手就是后梁末帝和契丹的耶律阿保机了。
公元916年，耶律阿保机即位称帝，这就是辽太祖。第二年，契丹军进攻幽州，号称有百万之多。李存勖正在黄河沿线跟后梁军作战，他派了三个大将前去，把契丹军打得大败，解了幽州之围。过了几年，耶律阿保机又率领大军南下。李存勖亲自带领骑兵做先锋，又把契丹军打得一败涂地。耶律阿保机不得不败逃回去。李存勖算是完成了李克用交给他的另一项重大任务了。
李存勖跟后梁末帝打了十几年仗。他看到后梁快要完蛋了，就在公元923年，在魏州（今河北大名北）即位称帝，国号唐，历史上称为后唐。他就是后唐庄宗。这年十月，他又灭了后梁，统一了北方，把都城迁到了洛阳。