眼下，李渊手里只有几万兵马，若要实现霸业，隋炀帝自然是他的头号对手。但此时隋炀帝正在江都（今扬州），被各地义军闹得焦头烂额，既回不了大兴城，也无法回到洛阳，这样就无法组织对李渊的镇压。天下英雄众多，谁的野心都不小，若想一个个吃掉，最后实现一统，那恐怕十年八载也搞不定。再说李家军实力并不算强，仅瓦岗寨翟让与李密一支人马，就胜过李渊几倍，何况周围还有薛举、王世充等诸多割据势力，正虎视眈眈。
九月，李氏集团在先取河东还是先从龙门渡河直取关中这一重大决策上发生了分歧。正在集团决策层莫衷一是的当口，刚刚投奔李世民幕府做谋士的房玄龄，决定不避人微言轻之虞，一展自己的文韬武略。他审慎分析了当下时局之后，对李世民说道：“承蒙主公知遇之恩，玄龄三生有幸。既已为主公之犬马，自当知无不言。当初汉王杨谅兵败，是因为坐失良机；如今杨玄感起兵又败，是因为决策失误。依玄龄之见，我军可直入关中，首先占据大兴城，则三辅之地可指麾而定，据有府库，则不虑无人归附。这样，东面以保河东，西面而争天下，则霸业可成。”
虽然房玄龄说话慢声细语，谦恭之状一如文弱书生，但李世民还是听得出其中的深谋远虑。李世民年轻气盛，自小就跟随父兄戎马倥偬，性格上与房玄龄截然不同。但他天资聪慧，熟谙兵法，对天下大势怎能没有解读？只是不及房玄龄想得说得这么周延。李世民于是大喜，遂从房玄龄之说向父亲献计，并概括为“两从之”。也就是说，既要派兵监视河东地区，又要进占关中。
十一月底，占领了长安大兴城的李渊，立代王杨侑为帝（即隋恭帝），改元为义宁元年，遥尊龟缩在江都的炀帝杨广为太上皇。李渊则为假黄钺、使持节、大都督内外诸军事、尚书令、大丞相，改封唐国公为唐王，位在王公之上。又以武德殿为丞相府，设官置事，总揽军国大政。
与此同时，李渊又以长子、陇西公李建成为唐世子，以次子、敦煌公李世民为京兆尹、秦国公，以四子、姑臧公李元吉为齐国公。又以裴寂为丞相府长史，以刘文静为丞相府司马。翼护之下的隋恭帝，不过是个傀儡而已。
唐军进城没几日，杜如晦由杜陵老家来找房玄龄，二人相见，不禁喜泪纵横，叙说些阔别思念之情。随即房玄龄便把杜如晦引荐给李世民，李授杜为秦王府兵曹参军。
两个月后，随着势力逐渐扩大，李渊又大封功臣。封丞相府长史裴寂为魏国公，封丞相府司马刘文静为鲁国公，进授光禄大夫。其余晋阳旧吏，均有不同层次的加封。
而此时的隋炀帝，见中原的瓦岗军镇压不了，回大兴城收拾残局也不可能，便考虑在江东长住下去，想改在建康（今南京）重新立都。他把想法跟大臣们一说，内史侍郎虞世基等人立刻随声附和，只有右后卫大将军李才反对，竟与虞世基争吵起来。
门下录事李桐客道：“江东地方偏僻潮湿，土地狭窄，根本养不起国家政权，老百姓受不了会起义的，只怕到时候后悔也来不及了。”不料这话又引得监察御史不悦，弹劾他“谤毁朝政”。这一来大臣们害怕了，纷纷改口说：“江东之民早就盼望皇上来啦，这可是大禹治水南会诸侯一样的举动啊！”
六神无主的隋炀帝只能以阿谀之言来饮鸩止渴，于是着手他的迁都计划。但他手下的军队多是关中人，眼看着江都的粮食快要吃光了，实在不想在江都再住下去。见隋炀帝没有回家的打算，那些武将便私下里商量逃跑。
郎将窦贤率所部兵马集体逃跑，被隋炀帝派人追上斩首了，但逃亡者还是不断。隋炀帝便派虎贲郎将司马德戡带兵驻扎东城，防止再有人西逃。司马德戡和他的密友元礼、裴虔通商量：“如今士兵们人人想逃，我如果报告，可能会因为管理不严而被杀；如果不报告，他们逃后我又会因为事先不警惕而被杀。横竖都是个死，有什么好办法呢？”
元礼和裴虔通都说，只有大家一起逃走最是上策。于是这些关中人开始互相串联。内史舍人元敏、虎牙郎将赵行枢、鹰扬郎将孟秉等人，都参加了这个叛逃集团。他们商定了逃跑时间和办法，以为法不治众，也就不怕隋炀帝的耳目打探。终于有个宫女把事情向萧皇后报告，萧皇后让她直接向隋炀帝报告，隋炀帝却恼怒地说：“这哪是你这当宫女的管的事？妖言惑众！”竟下令将她斩首。
以后又有宫女跟萧皇后报告此类事，萧皇后便心灰意冷地说：“事已如此，无可救药，何必再用这些琐事让皇上心烦呢？”
虎牙郎将赵行枢与宇文智及私交甚好，便告诉他众人集体叛逃的打算。宇文智及说：“皇上虽然无道，但威令还可以贯彻。如果你等逃跑，恐怕要跟窦贤一样被追杀的。”
司马德戡说：“那该如何是好？”
宇文智及说：“如今是天将灭隋，所以天下英雄并起。现在江都想叛逃的人足有数万之众，不如我们自己起来做大事，灭了隋朝，建立咱自己的帝业！”
司马德戡立刻表示同意。但宇文智及毕竟人微言轻难以服众，赵行枢便请宇文智及去找他哥哥，便是右屯卫将军宇文化及，请他做起兵的盟主。宇文化及一听要他领头兵变，竟吓得变色流汗，俄顷才意识到这是天上掉下来的做皇帝的机会，忙又点头应允。
公元618年三月，司马德戡派部将许弘仁、张恺闯进备身府，对所有相识的卫士们说：“皇上听说大家想逃，准备好了一大堆毒酒，想召集一次大筵，把我们全都毒死，他自己跟那些南方人继续在江都住下去哩！”卫士们一听害怕了，相互转告，并跟司马德戡说：“你说该怎么办吧，我们都听你的！”
司马德戡当日下午便盗得御马，准备好了兵器。这天夜里正好是元礼、裴虔通在内殿值班，司马德戡便下令军士们动手，数万人在东城举起火把，呐喊之声惊天动地。
隋炀帝见宫中火起，又有喧声不绝于耳，忙问发生了何事。裴虔通回道：“草坊失火，外面正救呢。”此时，宇文智及和孟秉早已在宫城外集合了千余人，分兵把住了各处交通要道。
黎明时分，叛军杀进宫中，司马德戡和裴虔通亲率数百骑直冲成象殿。右屯卫将军独孤盛跑出来问裴虔通：“这是从哪里来的兵，我怎么从没见过？”
裴虔通高声叫道：“事已至此，不关将军的事，将军就别问了！”
独孤盛方知是兵变，来不及穿上盔甲，急忙率十几个人出来抵抗，即刻便被叛军杀死。时有千牛校尉独孤开远，率数百殿内卫士去请隋炀帝，敲门大叫：“现在咱们还有兵有将，只要皇上亲自出战，足可以挽回败局，否则就大祸临头啦？”喊了好久不闻回应。原来隋炀帝早已换上便装，不知躲到哪儿去了。
宇文化及收买了一个姓魏的宫娥，领着裴虔通等人来到永巷，问一美人：“陛下在哪儿？”美人手指里屋不语。校尉令狐行达拔刀入内，隋炀帝靠窗说道：“你要杀朕吗？”令狐行达说：“臣不敢，只想跟陛下回大兴城。”
隋炀帝被押到裴虔通跟前，说：“你不是朕的老朋友么？为什么要造反？”裴虔通道：“臣不敢造反，但将士们都想回家，所以想和陛下一起回京师。”
隋炀帝以为可以躲过这场劫难，假意骗说：“朕刚想回京师去，正等着运粮的船呢。好吧，现在朕就跟你们一起回去。”裴虔通一时不知如何是好，于是让士兵将隋炀帝看住，等候宇文化及来处理。
天已大亮，孟秉去找宇文化及，并告诉他兵变已经成功，皇上已被捉住。宇文化及紧张得说不出话来，碰见人就低下头说：“罪过，罪过！”众人不由分说，将宇文化及拥进宫门。司马德戡将他迎入朝堂，连声称他为“丞相”。
裴虔通见倚仗的盟主来了，这才去对隋炀帝说：“现在百官都在朝堂，陛下应当去慰劳慰劳。”士兵把马牵来，隋炀帝嫌马鞍太旧，等换了新鞍才肯上马。
隋炀帝一被押出来，政变士兵就一片欢呼。隋炀帝问：“虞世基在哪里？”马文举道：“已经砍头了。”隋炀帝被押到寝殿，裴虔通、司马德戡都举刀侍立左右，隋炀帝这才明白今天是躲不过去了，长叹一声道：“朕何罪至此？”
马文举说：“陛下违弃宗庙，巡游不息，外勤征讨，内极奢淫，使丁壮尽于矢刃，女弱填于沟壑，四民丧业，盗贼蜂起；声望任佞谀，饰非拒谏；何谓无罪？”
隋炀帝道：“朕确实对不起百姓，不过你等与朕一起享受荣华富贵，为何要这样做呢？今天是谁带头？”
司马德戡说：“天下无人不恨你入骨，岂是一个人带头能做的事？”
宇文化及便让封德彝来控诉隋炀帝的罪行。隋炀帝对封德彝说：“你本是食朕俸禄的士人，怎么也做起这种大逆不道的事来了？”封德彝竟一时说不出话来。
裴虔通怕隋炀帝用花言巧语动摇军心，挥刀斩杀了隋炀帝十二岁的爱子赵王杨杲，鲜血溅在隋炀帝身上，隋炀帝才知大势已去。他对裴虔通恳求说：“天子自有天子的死法，不能用刀。去给我取一杯毒酒来吧？朕要自行了结。”
马文举担心迟则生变，不许人去取毒酒，遂让令狐行达把隋炀帝按在床上，想用刀杀他。隋炀帝知道再顽抗也无济于事，便自己解下腰间的练巾，交给令狐行达说：“还是爱卿手轻些，就命你送朕走罢？”
令狐行达便用那条练巾，将隋炀帝勒死在床上。
这厢杀死了隋炀帝，宇文化及即立秦王杨浩为帝，自己为大丞相，挟天子以令诸侯。其时王世充在洛阳，闻知炀帝已死，赶紧又把越王杨桐扶上皇帝宝座，在东都匆匆加冕，改元皇泰。这样一来，加上李渊挟持下的恭帝杨侑，大隋天底下竟同时有了三个皇帝。
宇文化及拥兵北上，吴兴太守沈法兴自命江南道大总管，以丹阳为根据地起兵征讨宇文化及，接着又号称大司马、天门公。四月，稽胡趁乱进掠富平、宜春，丧男女两万余口。“梁帝”萧铣势头强劲，东至九江西抵三峡，南至交趾北临汉水，全都归附于他。
天下乱成了一锅粥。李渊在大兴城，觉得恭帝杨侑这块招牌用处不大了，在对隋炀帝之死假装表示一点悲哀之后，便派人去告诉恭帝杨侑：“隋朝天数已尽，你必须把玉玺交给有德之人，这个人只能是唐王李渊。”杨侑本来就是李渊手中的傀儡，怎敢不从？
公元618年五月，隋恭帝宣布退位，将皇帝宝座“禅让”于李渊。李渊遂在武德殿即位，并将新王朝命名为他家族的封号——唐，改年号为武德。
这一年，李渊五十三岁。
六月，黄袍加身的李渊追尊高祖为宣简公、曾祖为懿王、祖父李虎为景皇帝、父亲李昞为元皇帝，又尊死去的母亲独孤氏为元贞皇后，追谥已故妻子窦氏为穆皇后。祭谥了先辈之后又安排亲族：立长子李建成为太子，封次子李世民为秦王、四子李元吉为齐王；又封从兄李白驹为平原王，从弟李孝基为永安王、李叔良为长平王、李神通为永康王、李神符为襄邑王、李德良为新兴王，封侄子李道炫为淮阳王、李博义为陇西王、李奉慈为渤海王。又命李世民为尚书令，裴寂为尚书仆射，刘文静为纳言，萧瑀、窦威为内史令。
由秦王李世民提名，时任秦公府记室参军的房玄龄，也受封为临淄侯，并以本职兼陕东道大行台考功郎中。杜如晦也授为行台司勋郎中，封爵建平县男。
至此一切封赏完毕，一个新王朝正式诞生了。紧接着便是废除大业律令，修订新格；边要之州设立总管府；置国子学、太学、四门学生员三百余，郡县学亦置生员……
但此时天下已是一盘散沙，那些拥兵自重的英雄谁肯臣服别人？识相的割据一方占山为王，不识相的还想兼并别人地盘以扩大自己的领土。打着杨氏宗室招牌拥立新主的就更不甘心了，必欲剪除李唐才肯罢休。所以，李渊虽然是把唐王朝立了起来，根基却未能牢固。