能谦虚听取他人意见是李世民成功的最大因素。他聪明绝顶，遇事也能立即做出正确的判断，但决不因此而刚愎自用。相反的，他乐于听取不同的意见，然后分析利弊，从中选取一个最好的方法去实行。
从此，李世民的公馆便成了江湖豪客的秘密聚会所，他除了得到许多谋士为他效力外，还交结许多拥有兵将的英雄人物。
霍邑之役显神通
“如今皇上昏昧，民生困窘，咱们晋阳城外就是战场，每天厮杀来厮杀去，我们即使有心改善百姓的生活，也无法在这兵荒马乱的时候实施，所以我认为只有顺从民意，发动义兵，才是最好的方法，您说对不对？”李世民积极地游说父亲。
李渊听后大怒，忙把李世民关在房里不让他出来。但是李渊不禁想起当年那位奇异书生的话。再有，这回突厥来侵犯边境，李渊因兵少不幸战败，朝廷方面不听解释，曾经要派人押解李渊到江都问罪，幸亏得人解劝，隋炀帝才收回成命，不再追究。李渊想了一夜，终于同意起兵了。这一年，李世民年仅二十岁。
大业十三年（617年），李渊尊隋炀帝为太上皇，辅持当时留守长安的代王侑（隋炀帝之孙）为帝，传送檄文到各郡县。古代社会臣子反叛是极大的恶名，因此李渊父子不得不找一个合理的借口起兵。他们以“废昏立明”为口号发动起义，李氏大军浩浩荡荡地向长安开去。起义的第三天，就把太原外围的几个郡县都攻下来了。
当时隋朝边境最强大的敌人就是突厥，为求得援助，李渊特派刘文静前去交涉，并表示必要时即使称臣也无所谓。有计谋有远见的李渊认为大丈夫能屈能伸，不要为一点小事而坏了大局。突厥人喜爱财物，就向他们承诺，成了大业后，一定会送很多金银给他们。如果财物打动不了他们，必要时也可向他们称臣。
刘文静果然不负众望，不但使突厥首领始毕可汗立即派遣两千骑兵增援，并且赠送战马千匹。
李氏大军分几路攻至霍邑城下时，代王派宋老生率两万精兵进行抵抗。隋将宋老生是个比较有谋略的人。他知道霍邑城非常坚固，城内存有丰足的粮食，难以硬攻。他想出“避不迎战”的计策，下令紧关城门，闭不出战，决心以死守来拖垮城外存粮不多的李家军。
这一着棋果然下对了。没几天，李家军的粮食快吃完了，敌人还是不肯出来应战，加上连日暴雨，使得士气一天天的低落，到后来李渊也泄气了，下令班师回太原。
李世民得知消息后立即冲到营内对父亲说：“李家军乃是为天下生民而起的，应该直入长安号令天下才对，怎么能因为一点小挫折，就退回去。这样岂不是和打家劫舍的盗匪一样吗？这样回去会叫天下人笑话的。父亲，请您收回成命，军队绝对不能撤退。”
李渊摇摇头说：“命令都下了，而且雨一直下个不停，可见是天都不帮忙，还是回去才是上策啊。”说完就走开了。
李世民出去一看，左路军已经开始撤退，便冲过去极力拦阻，但军心溃散无人肯听，哪里拦得住？他一急便跪在军门外号啕大哭。
李渊被他吵不过，便叫进来问：“你到底想干什么啊？半夜三更了，还在那大哭大叫，成何体统！”
“父亲，我哭是因为这一回咱们都要没命！”李世民悲痛地说，“您想想看，这一撤退士气全无，后面的敌人却士气正旺，不用多久便可追上我们，我们必定抵挡不住，大家不是都要没命了吗，我怎能不哭呢？”说完又低声啜泣。
李渊这时才醒悟过来，叹口气说：“你说得有道理！只是左路军都已经往回撤了，该怎么办才好呢？”
“没关系，我的右路军还没动，留他们在这防守，我和大哥分头去把左路军追回来。”李世民和大哥建成立即骑马去追赶。半路上雨愈下愈大，他们两人居然跑到一个山谷中。
“老二，这是什么地方？”建成问李世民。
“我也不知道，看样子我们是迷路了。”
“那怎么办呢？我看就坐在这儿等天亮吧，免得不小心摔到谷底丧命了。”建成垂头丧气地说。
“不行，那军队可就追不回来了。我记得刚才经过一个双岔口，我想另一条路应该在山的那一头。大哥，咱们翻过这座小山吧！”
“啊！翻过去——”建成正要反对，看到李世民坚定的神色，只好将没说出口的话吞下，将马丢弃，开始爬山。
天色微亮，建成全身湿淋淋地倚在树干上喘气，望着在他前面数十尺，仍不停前行的弟弟，不禁摇头说：“二弟，我真服了你，如果爬过去不是另一条路怎么办？”
“总会有一条路的，只要有路就可以找到他们。”李世民信心十足地说。
费尽力气爬到山顶，果然瞧见下面树林中隐约露出军队的旗帜，二人精神大振，又呼又喊地急跑下山，终于将军队追了回来。
回到驻地，李世民立刻冲入父亲的营帐。
“父亲，我在回来的路上想了一下作战策略，我认为应该用速战速决的方法才能取胜。您想，宋老生是个经验丰富的将领，他的部下都是训练良好、身经百战的精兵。我们的军队成立没多久，将士没有经验，训练时间不长，士气还很不稳定。更严重的是现在粮食不足，再耗下去，咱们就会不战自败，必须用激将法将他们激出来，然后速战速决。”
“好，好，我立刻叫人去办，你快去躺会儿吧。”李渊看着奔波了一夜全身湿透却神采飞扬的儿子心疼地说。
老谋深算工于心计的宋老生起初对李家军的叫骂毫不理会，但是经过李世民一再挑衅，他手下的将士忍耐不住了，纷纷要求开门迎战。宋老生在李家军愈来愈难听的叫骂声中不禁心烦气躁，又在城头上看到李世民带着几个仆从，拿着马鞭沿着城下，边走边指指点点，一副不把城上将士放在眼中的神情，更是气得火冒三丈。再加上身边的将士不断劝说，宋老生立刻传令敲鼓宣战。
围城的第二十六天，宋老生终于率兵出城迎战了。李氏父子早已摆好了阵势，李渊和建成带一路兵攻打城东，李世民和姐夫柴绍带兵攻打城南。“擒贼先擒王”，宋老生决定先攻东阵，只要将李渊拿下，这场战争就稳操胜券了。他一拍马便杀了过去，建成立即前来迎挡，三回合后被宋老生击落下马，东阵败退。
李世民一看形势不对，立刻策马转向城东。宋老生前后受敌，应接不暇，只好急忙退到城边，想要从事先备好的爬绳梯入城，不料李世民带领士兵已经追到，一刀就把宋老生斩杀在城下。隋兵见将领被杀，顿时乱了阵脚，没有费什么工夫，霍邑城仅半天就被攻下了。
攻下霍邑后，李家军士气大为振奋，不到十天又攻下好几个郡县。这时，刘文静请来的突厥援兵也赶来会合，使得李家军的势力更强了，影响也越来越大。有许多势力较小的割据军队赶来投靠。针对这种情况，李世民提出了他的主张，就是捐弃私嫌，只要是真心诚意为国家为百姓的，都欢迎他们加入李家军。
另一方面，李世民又吸取了霍邑一战中因军粮不足、险些导致不战而败的教训，提出先夺永丰仓（今陕西澄城县南）再攻长安的主张。
实施这两大主张后，李家军的军力越来越强。等到十月围攻长安城时，已有将兵二十多万。代王虽派兵顽强抵抗，但哪能挡得住这一支百战百胜，又有充足粮食做后盾的雄师呢？因此不到一个月的时间，长安城就被攻下了。
攻取长安后，李渊仍立代王为帝，自己做大丞相，加封唐王。随后立即和百姓约法十二章，将隋朝苛政全部废除，并勒令部下不许侵犯隋朝的宗室及天子宗庙。从此，中国北方的政权就转移到李氏父子的手中。
隋炀帝到江都后，生活更加奢靡无度。这时传来了长安被攻陷的消息，他便决定不再回北方了，下令在今天的南京市修筑丹阳宫作为皇宫，准备把朝廷移到江南。隋炀帝的大臣多半是北方人，他们十分渴望回到家乡，因此南方朝廷的内部也开始分裂了。
大业十四年（618年）三月，也就是李渊在长安称唐王的第五个月，江都发生了政变。隋炀帝的宠臣宇文化及与卫队将领共谋叛变，在一个深夜里，率兵直入寝宫将隋炀帝绞死，立秦王浩为帝，而实际大权却操纵在宇文化及手上。
隋炀帝被杀、宇文化及夺权的消息传到长安，全朝的人都十分震惊。年幼的代王认为今后天下纷乱的局面绝不是他所能应付得了的，便决定把帝位禅让给李渊。