宣帝立杨丽华为皇后，父以女贵，杨坚被拜为上柱国、大司马。第二年，转为大后丞、右司武，旋即升为大前疑。宣帝外出，便由杨坚处理日常政务。
经过文帝武帝的后周气数已尽，年轻的宣帝是个地道的昏君，荒淫无道。武帝尸骨未寒，他便把父皇宫人全部接收过来，供他发泄兽欲。忠直的大臣遭诛杀，奸佞小人却受到重用。他做皇帝的第二年二月二十日，禅位七岁的皇太子宇文阐，是为静帝，自己称“天元皇帝”，做太上皇去了。这种事在中国的历史上真是不多见，说白了，这是一个不折不扣的混蛋做法。不过，他并没有放弃权力。北周王朝在他的统治下迅速走向黑暗。
上天又给了正觊觎着皇位的杨坚一个绝好的机会。他抓住时机，做取代周室的准备工作。
杨坚对此时的后周是有着清澈认识的，杨坚与好友宇文庆谈论时局，杨坚道：“天元皇帝没什么德政，看相貌也不会长寿。加上法令繁多而严苛，整天沉湎于声色中，我看皇上的统治维持不了多久。宇文宗室诸王各就封国，既不能有效地控制地方，朝廷内也失去亲信。像这种局面，一旦天下有事，局势将不可收拾。”接着，他又对掌握实权的地方势力做了分析：“安阳太守尉迟迥是皇亲国戚，声望素著，若天下有变，他必首先起来作乱，但此人才智平庸，子弟也多轻浮，且贪财好利，对部下不事拉拢，肯定成不了大事。驻守郧州的司马消难是个反复无常的小人，若有机会，肯定会发难，不过此人轻薄，缺少智谋，也不足为虑，至多失败后投奔江南。益州易守难攻，总管王谦却是个蠢材，没有什么心计，即使受人唆使而作乱，也成不了气候。”
杨坚料定北周的统治即将结束，对他取代周后如何应付可能出现的动乱局面有了充分的准备。
周宣帝到底还是起了疑心，他为自己的疑心做了一些“考察”杨坚的事情，但是总是在最后时刻犹豫。放过了杨坚。大象二年（580）五月，宣帝心血来潮，要南征，郑译乘机推荐杨坚为扬州总管。
大军还未发，宣帝就病倒了，宣召大臣刘防、颜之仪进宫，欲托以后事。两人到时，宣帝已不能说话。静帝宇文阐年方八岁，乳臭未干。刘防为了自己的前程，他下定决心投靠杨坚。他找来郑译，两人一同草拟了一个假诏，声称宣帝遗嘱杨坚辅政。然后，刘防去找杨坚，杨坚还有顾虑，刘防道：“你要愿意，就赶快答应。你若不愿意，我就自己去做。”杨坚遂答应下来。但是，当刘防拿着假诏要颜之仪签字时，颜之仪却断然拒绝，说诏书有诈。于是，刘防便替他签了。不久，宣帝驾崩，刘防、郑译秘不发丧，把假诏颁发，任命杨坚都督中外诸军事，总理朝政。在杨坚接管了权力后，他们才公布了宣帝的死讯。此时，宣帝已死三天了。
培植党羽
杨坚已经成为了周实际上的最高的统治者，但要代周自立，还需花一番的功夫。
首先是要培植自己的心腹党羽。高颎便是一个。高颎，又名敏，字玄昭，自称系渤海蓨县（今河北景县）人，聪明机智，才华出众。杨坚看中了他，派人与他面谈，他欣然应允，愿举家以事杨坚，赴汤蹈火，在所不辞。杨坚大喜，委任他为相府司隶，颇为依重。
在经过了一番努力之后，杨坚网罗了一批有真才实学且死心塌地愿为其效力的心腹。
当朝天子静帝的叔父宇文赞官居上柱国、右大丞相，与杨坚平起平坐。杨坚让刘防去劝他回家，不要过问朝政，骗他说以后会让他做皇帝。后周的政权真的是可以灭亡了，不然为什么要一个不满20岁的年轻人来作杨坚的“对头”，这个毛头小子被刘防天花乱坠的一番话说动了，就高高兴兴地回家等着做皇帝去了。
但是，就在对付几个藩王上，杨坚却颇费了几次周折。
赵王宇文招、陈王宇文纯、越王宇文盛、代王宇文达、滕王宇文迪，都是宇文泰的儿子，身居王位，握有重兵。杨坚知道，他们是不会坐视自己代周而立的。还在宣帝死讯未公布时，杨坚便假借千金公主出嫁突厥的名义，召他们入京。一个月后，五王到了长安，被收缴了兵符。这时，他们才知道是中计了。
事情也正就像是杨坚所想的那样，出现了各种各样的阻力。尉迟迥在相州（今河南安阳）起兵，传檄天下，讨伐杨坚。王谦、司马消难等纷纷响应。杨坚命大将韦孝宽出击尉迟迥，梁睿出击王谦，王谊出击后司马消难。
不甘于缄默的五王此时也在蠢蠢欲动了。杨坚立刻陷入了被围困的危险境地。
韦孝宽被派去出击尉迟迥，率军进至河阳（今河南孟县）便停了下来，没人敢再前进一步。传言梁士彦、宇文忻、崔宏度等将校收受了尉迟迥的贿赂。他的形势危急，需派一名既忠心耿耿又有魄力的人去做监军。杨坚挑选了大臣崔仲方，崔仲方以老父在尉迟迥的占领地为由拒绝。杨坚又想到了郑译、刘防，但郑译说他有老母在堂，刘防说他没有带过兵。杨坚犯难了。这时，高颎自告奋勇，甘负重任。杨坚欣然同意。高颎到达了前线后，调整战术，督军进攻，大败尉迟迥。王谦、司马消难也被梁睿、王谊击败。消息传到长安，杨坚大为亢奋。
五王闻讯尉迟迥等兵败之后大惊，为了宇文氏的江山，他们决定铤而走险，刺杀杨坚。经过一番密谋，一个刺杀计划敲定了：由赵王宇文招出面，宴请杨坚，周围埋伏刀斧手；把杨坚的随从挡在门外，只让他一人入内；席间，宇文招的儿子送瓜上来，拿刀切瓜时刺杀杨坚。一切都已准备就绪后，宇文招就开始了行动。
杨坚对于五王估计是不算足的，觉得已经收缴了他们的兵符，解除了他们的兵权，谅他们也没什么的了，见宇文招有请，遂带着杨弘、元胄等几个随员前往。到了赵王府邸，随从都被挡在门外，杨弘、元胄硬是闯了进去。元胄进去一看苗头不对，便对杨坚道：“相府有事，丞相不宜久留！”
“我与丞相说话，你插什么言！”宇文招斥责元胄，喝令他退下了。
两眼圆睁的元胄，不但不退，反而提刀上前保护杨坚。宇文招不敢动强的，问过元胄姓名，道：“你过去不是在齐王手下做事吗？真是一个壮士！”赐给元胄一杯酒，说：“我哪有什么恶意，你何必如此紧张？”说完，装作呕吐，欲离开座位，被元胄强行扶回座位上。宇文招几次想离开，都被元胄“劝”止。宇文招又说口渴，元胄便让人送来水让他在座位上喝。宇文招被置于元胄的威胁下，他手下的人也不敢轻举妄动。这时，滕王宇文迪来到，乘杨坚出门迎接，元胄在他耳边说：“苗头不对，赶快离开这里！”
杨坚估计风险不大，道：“他没有兵马，能干什么？”
“兵马本来就是他们的，只要他们先下手干掉丞相，一切都完了。”元胄道：“不是我怕死，因为我死了也解决不了任何问题。”
杨坚并没有走，镇静地回到席上坐下。元胄听到后堂有披挂盔甲的声音，急了，上前对杨坚说：“相府的事那么多，丞相怎么这样，老坐着不走？”说完，拉着杨坚就走。宇文招快步追出来，元胄堵在门口，等杨坚出了府邸大门，他才紧走几步赶上。杨坚回到了相府，以谋反的罪名杀了宇文招等五王。杨坚彻底击败了他的敌人。
在不久之后，杨坚就以静帝的名义下诏了，任命自己作为了大丞相，废除左、右大丞相，免得有人利用二相并立的条件与自己分庭抗礼。
杨坚进位相国，以二十郡之地封杨坚为随王，剑履上殿，入朝不趋，赞拜不名，位在诸侯王之上。杨坚假意谦让了一番，最后，除了减去十郡封地外，其他全部接受。
为了能够削弱宇文氏的影响，杨坚下令废除所有对汉人的赐姓，令各复本姓。这一命令得到了汉人的普遍拥护。
不久之后，在杨坚的授意之下，静帝又颁诏了：杨坚的王冕为十二旒，建天子旌旗，出警入跸，乘坐金银车，驾六马，享用八佾乐舞。杨坚假意辞让，前后三次，才无可奈何般地接受。杨坚的人臣之位已是无以复加了。
紧接着，杨坚派人为静帝写好退位诏书，诏书中盛誉杨坚功德，请杨坚接过帝位。诏书由朝廷大臣奉送到随王府。在百官的再三恳求下，杨坚才勉为其难般地接诏。他穿上早已准备好的皇服，在百官簇拥下入宫，登上帝位。周静帝北面称臣，杨坚封他为介国公，食邑五千户，享用原来的车马、旌旗、服饰、乐舞，不向新帝称臣，只不过是新朝的一个客人而已。
杨坚承嗣父亲随国公的爵位，后又晋称随王，遂定国号为“随”。但他觉得“随”字有“辶”，与“走”同义，不吉利，遂改“随”为“隋”，仍以长安为国都，立独孤伽罗为皇后，长子杨勇为皇太子，改元“开皇”。这年，是公元581年。杨坚时年四十岁称帝了。
篡位当了皇帝的杨坚，史书中称之为文帝。他的妻子独孤氏便成了皇后，长子杨勇成了太子。统治阶级的争权夺位，在中国的历史上不乏其人，而斗争往往是比较凶残和狡诈的，杨坚同样地采用了这样的方式。统治者们为了达到他们的目的做出一些残忍的事情来在历史上是无可厚非的。对于杨坚，我们应该把视线转移到他夺得帝位后所发生的事情，即对后世的影响如何，这样对于这个开国皇帝来说才算公平。
杨坚在得到帝位后，做出了一系列的有利于国计民生，有助于社会发展的政策，而且取得了非常明显的成效。从这一点来看，他不失为中国历史上一位很有作为的名主了。
统一全国
杨坚登基称帝之时，华夏大地仍然处于分裂状态，隋的南面还有梁、陈两个小的朝廷。
梁的都城在江陵（今属湖北），历史上称它为“后梁”。后梁地盘并不大，自萧詧建国以来，一直依附于北朝，是个“儿皇帝”角色。杨坚称帝时，统治后梁的是萧督的儿子萧岿，杨坚派特使赐他黄金五百两、白银一千两、布帛一万匹、马五百匹，以示恩宠。第二年，杨坚又派人去江陵为晋王杨广选妃，经过占卜，所选美女都不吉，萧岿想起自己还有个女儿在舅父家住着，何不让她一试？于是派人把女儿接来，占卜吉凶，得了个“吉”，于是萧岿的女儿就成了杨广的妃子，后来杨广做了皇帝，萧妃又成了皇后，这是后话。由于这次联姻，杨广很优遇萧岿，取消了派去监视萧岿的江陵总管，让萧岿自己处理后梁事务。第三年上，萧岿去长安朝见杨坚，杨坚又钦准他的地位在王公之上。翌年，萧岿病死，子萧琮嗣位。萧琮为人倜傥，博学好文，娴于弓马，风采不逊乃父。但在杨坚眼里，已不被看重了，原因很简单，这时隋内部已整顿完毕，杨坚腾出手来，准备完成统一大业了。杨坚宣布恢复江陵总管，重新把后梁置于隋的监管之下。萧琮即位第三年上，杨坚征萧琮入朝，萧琮自然不敢违命，率文武百官二百余人北上，江陵父老叹道：“我主这一去，就回不来了。”正如他们所料，萧琮离江陵北上，隋将崔弘度就带兵南下，说是去守卫江陵。知道崔弘度来者不善的萧琮叔父萧岩，亲自率城中官民十余万人投奔陈而去。消息传到长安后，杨坚宣布废掉后梁，改封萧琮为莒国公。
杨坚定下的下一个目标，就是建都建康（今江苏南京）的事了。当时，坐在建康皇宫龙座上的是陈叔宝。陈叔宝多才多艺，风流倜傥。但他的聪明才智全用在玩乐上，整日都是沉湎于酒色之中。
烟笼寒水月笼沙，夜泊秦淮近酒家。
商女不知亡国恨，隔江犹唱《后庭花》。
这是唐代大诗人杜牧的《泊秦淮》的诗。诗中说的《后庭花》，全名为《玉树后庭花》，是陈叔宝与嫔妃饮酒作乐时谱写的曲子。他最宠爱的妃子，一是张丽华一是孔贵妃，就连上朝听政，也要一手揽着张丽华一手抱着孔贵妃，一边与她们调情一边决断军国大事。若两贵妃插上一句，他马上就说：“就按贵妃说的办！”昏君在位，纲纪紊乱，奸佞专权，贿赂公行，江南锦绣江山被他们搞得乌烟瘴气。几个有识之士上疏劝谏，陈叔宝置若罔闻。
陈的覆灭已是指日可待了。废除后梁以后，杨坚便加快了灭陈的准备工作。第二年秋，兵力部署既毕，杨坚下诏，大举攻陈。
八路大军由晋王杨广节制，在东起大海，西迄四川的数千里战线上，同时发起强攻。陈叔宝仍在与张、孔二贵妃纵情歌舞。
不久之后，隋军将士的呐喊就淹没了皇宫里面的歌舞声。第二年正月，贺若弼、韩擒虎两路大军突破长江防线，陈军十万将士，全无斗志，大将任忠投降，引韩擒虎所部从朱雀门攻入建康城。文武百官四散逃命，偌大一个宫殿，只剩下一个叫袁宪的侍臣陪伴在陈叔宝身边。“我从来待你不如他人，现在只有你在这里相陪，真令我追悔莫及。”陈叔宝说了几句感激的话，就要找个地方藏起来，袁宪劝他说，事已至此，哪里还有藏身之处？陈叔宝不听，说：“锋刃之下，怎敢大意？你不必多说，我自有办法。”说完，就拉着张、孔二贵妃躲进一口枯井中。不久，隋兵杀入皇宫，见井边有绳，伏下身去喊叫，不见答应，便说往下填石头，才听见喊声，即用绳拉人，但觉得很沉，不免有些惊异，待拔出井外，才发现一根绳子系了陈、张、孔三人，众人不禁失笑。
陈叔宝成了阶下之囚，陈各地官军，也纷纷投降。自西晋倾覆以来二百七十多年的分裂局面至此结束，全国重新统一。
就在灭陈的当年里，杨坚认为军人和兵器的历史使命应该结束了，否则，便会造成不安定的因素。于是，杨坚便下令：除边疆和京师戍卫军队外，其余的兵器等军事装备立即停止制造，民间兵器立即销毁；军人子弟应偃武习文。开皇十五年，杨坚又下令收缴天下兵器，若发现有私自打造者，严加惩处。开皇八年，又下令收缴江南三丈以上的大船。杨坚想消除一切不安定因素，确保杨氏家天下。
开皇之治
中国在统一之后，文帝一面是躬行俭朴，一面采取了许多有利于巩固政权的措施。由于他明白到“古帝王没有好奢侈而能持久的”，所以由他辅政时开始，就提倡生活节俭，宫中的妃妾不作美饰，一般士人多用布帛，饰带只用铜铁骨角，不用金玉。文帝曾想用胡粉和织成的衣领，居然搜遍宫殿，都找不到。这种躬行节俭，使人民的负担相应得到减轻，而且有利于各项措施的推行。
文帝所取的那一些措施之中，最主要有以下的几个方面：
在中央，设置三师、三公、五省、六部、二台、九寺、十二府。太师、太傅、太保，为三师。三师官衔为正一品，在名义上是皇帝的老师，与皇帝坐而论道，但不置官署，没有什么实权，仅是赐予德高望重大臣的荣誉官衔。三公为太尉、司徒、司空，也是正一品。三公虽置僚属，有参议国家大事的权力，但一般不设；即使设置，也不单设，而是给某些重臣的加官。五省，为内史省、门下省、尚书省、秘书省和内侍省。秘书省管理图书历法，内侍省是宦官机构，这二省在政权中不占重要地位，真正的权力中枢是内史、门下、尚书三省。内史省协助皇帝决策军国大政，长官为内史监、内史令，各一人，旋即废内史监，置内史令二人，正三品。门下省负责审核大政方针，认为不妥的，可以驳回，长官为纳言二人，正三品。尚书省主持日常政务，长官为尚书令一人，正二品，但一般不授人，有隋一代，只有炀帝时杨素以翊戴之功，进位尚书令，故尚书省长官实际上是左右仆射，从二品的。