杨勇在整个废立过程中，始终不曾对其父有怨言，哪怕是对陷害他的二弟杨广，也无只言片语的批评。隋文帝把原太子杨勇叫荣在尔宫，交付给太子杨广看管。杨勇以为遭到废黜并非是由于自己的罪过，多次请面见父皇伸冤，但都遭到杨广的遏止，不能上报于天子，于是杨勇爬到树上大声呼叫，希望呼喊声能传到父皇那里，得到召见。杨素趁机制造谎言说：“畅勇情志昏乱，被癞狂的恶魔给迷住了，已经再可救药。”隋文帝对杨素的谎言信以为真，最终也没有召见杨勇。史书记载：“杨）素因奏曰：‘勇情志昏乱，为癫鬼所著，不可复收。’上以为然，卒不得见”。
开皇二十年（公元600年）十一月，隋文帝宣布立普王杨广为太子。隋文帝对太子杨广说：“吾以大兴公成帝业。”因而令杨广出舍大必县。当天夜里，烈风大雪，地震山崩，民间房多遭毁坏，被压死在废墟中的有百余人。由于发生了大地震，太子杨广请求换下礼服，东宫官不称呼为臣。十二月，隋文帝听从杨广上述请求，同时任命宇文述为太子左卫率。当初，太子杨广开始谋划夺取嗣君之位时，洪州总管郭衍曾参与此事，因此郭新被征召任尔宫左监门率。
在杨勇被废的同一天，一生南征北战的大将军史万岁被活话打死在朝堂之上。当年跟随文帝一起打天下的开国功臣们，已经所剩无几，李德林、高颎、韩擒虎、虞庆则、王世积，贺若弼等，不是被贬就是被杀。文帝晚年的一系列冤案，使得官员和百姓对隋朝心寒齿冷。有识之士已经看出隋朝止在走向危险的深渊。监察御史房彦谦早在废太子事件之前就对其密友说：“主上性多忌克，不纳谏争。太子卑弱，诸王擅威，在朝唯行苛酷之政，未施弘大之体。天下虽安，方优危乱。”其子房玄龄也对其父说：“主上本无功德，以诈取天下，诸子皆骄奢不仁，必自相诛夷，今虽承平，其亡可翘足待。”
二十多年后，唐太宗评论这段历史道：“高颎有经国大才，为隋文帝赞成霸业，知国政者二十余载，天下赖以安宁。文帝惟妇言是昕，特令摈斥，及为炀帝所杀，刑政由是衰坏。又隋太子勇抚军监国，凡二十年间，固亦早有一定分，杨素欺主罔上，贼害良善，使父子一朝灭于天性。逆乱之源，自此开矣。隋文帝混淆嫡庶，竟祸及其身，社稷寻亦覆败。古人云：‘世乱则谗胜，诚非妄言。’”
文帝共有五个儿子，依次为太子勇、晋王广、秦王俊、蜀王秀和汉王谅。秦王俊仁恕友爱，颇得父母欢心。小时候受父母影响，打算出家为僧，不为文帝所许。隋朝建立时，他十一岁，被封为秦王，翌年出任河南道行台尚书令，加右武卫大将军，领关东兵。平陈时，任山南道行军总管，完成阻断长江上、下游陈军相互联络的战略任务。后转任并州总管二十四州诸军事，颇有治绩，文帝专门下书奖励他。然而，随着天下太平，皇权加强，秦王俊也日益追求享乐，生活莲渐奢侈。为了增加财路，他放钱收息，被人告发。文帝遣使追查，抓了一百余人，但是秦王俊并不当回事，依然故我，盛修宫室，穷极奢侈。他本人心灵手巧，经常亲持斤斧，制作工巧之器。还为妃子修造水殿，香涂粉壁，玉砌金阶，雕梁画栋。水殿落成，他邀来宾客艺妓，载歌载舞，十分快活。然而，这件事惹恼了王妃崔氏。崔氏是酷吏崔弘度的妹妹。因此，崔氏性妒如火。她见秦王成天穿梭于石榴裙中，当然愤恨不平，一怒之下，竟在瓜中下毒，略施薄惩，让秦王卧病在床，乖乖听她照顾。
可是，这一闹，却把事情闹大闹糟了。开皇十七年（597年）秋，文帝听说儿子被媳妇下毒，立即把他们召回京城，崔氏毒害丈夫，下诏废绝，赐死于其家；秦王奢纵，免官，以王回府。左武卫将军刘异为集王求情说：“秦王非有他过，臣谓可容。”文帝拒绝说：“法不可违。”刘异还想劝说，见文帝忿然作色，只好作罢。后来，杨素也劝文帝说：“秦王之过，不应至此，愿陛下详之。”文帝同样予以拒绝，说：“我是五儿之父，若如公意，何不别制天子儿律？以周公之为人，尚诛管、蔡，我识不及周公远矣，安能亏法乎？”
文帝的处理，有其道理。但他平时威严惯了，子女对他心存畏惧，秦王病中遭谴，赶忙派人向父亲悔过认错，可是，文帝并不原谅，对其使人斥责说：“我戮力关塞，创兹大业，作训垂范，庶臣下守之而不失。汝为吾子，而欲败之，不知何以责汝！”吓得秦王一病不起。大都督皇甫统上表，请恢复秦王官职以安慰他，但文帝不同意。就这样拖了一年多，到开皇二十年（600年）六月二十日，秦王终于忧惧而痫。
其时，文帝正谋划废太子，心情不好，听说秦王病死，携独孤皇后前往探视一下，哭数声而已，并吩咐将秦王生前所作奢丽器物统统烧毁，丧事从简。溱王府僚佐请求为秦王俊立碑，但文帝一口拒绝：“欲求名，一卷史书足矣，何用碑为？若子孙不能保家，徒与人作镇石耳”。秦王的子女虽然无辜，但朝官观言察色，以为其母以罪废，儿子不当承嗣，文帝深以为然，故其子女被剥夺了承袭父爵的权力，连丧事也都以秦王府官为丧主。秦王的女儿时仅十二岁，哀恸尽礼，绝食鱼肉，让人看了可怜。秦王平时善待部下，故其卧病时，侍卫官王延日夜服侍，衣不解带，秦王死后，他数日不食，哀毁骨立，下葬之日，号恸而死，最后陪葬于秦王俊墓旁。秦王被废黜是否还有其它复杂背景已经不得而知了，但他死后，蜀王秀很快就成为新的目标。
蜀王秀比秦王俊小两岁，长大后，相貌堂堂，体格魁梧，美须髯，有胆气，武艺出众，甚为朝臣所畏惮。文帝早就对独孤皇后预言道：“秀必以恶终，我在当无虑，至兄弟必反。”由此看来，蜀王秀性情刚猛，不为文帝所喜。隋立以来，他被封为蜀王，长期镇蜀，颇事经营。兵部侍郎元衡出使于蜀，他殷勤款待，为的是请元衡回京帮忙增益王府属官，但被文帝否决。后来，犬将军刘哙出讨西爨，文帝令上开府杨武通率兵继进，而蜀王秀却让嬖人万智光为杨武通的行军司马，文帝认为蜀王任非其人，颇加责备，并公开对群臣说：坏我法者，必在子孙乎？譬如猛兽，物不能害，反为毛间虫所损食耳。看来文帝对他成见已深。
蜀王秀落难在于太子勇遭黜之后。杨勇无故被废，而搞阴谋的晋王广继立为太子，蜀王秀当然很不服气。这一切，新立的太子十分清楚，他担心四弟迟早会公开反对自己，不如先下手为强，让杨素罗织蜀王秀罪状上呈文帝。文帝已经亲手废黜了两个儿子，仁寿二年（602年）将他征还京师。杨秀入朝觐见，文帝板起面孔，一句话都不说。次日，他派遣使切责杨秀，杨秀磕头谢罪，太子及诸王亦在一旁赔罪。文帝厉声斥说：“顾者秦王靡费财物，我以父道训之。今秀蠹害生民，当以君道绳之。”下令将杨秀交给执法部门论罪。此时，有人出来劝遭：“庶人勇既废，秦王已薨，陛下儿子无多，何至如是？然蜀王性甚耿介，今被重责，恐不自全。”不料，一席话惹得文帝勃然大怒，差点就将他的舌头剜了下来，群臣哪里还敢多嘴。文帝丢下一句话：“当斩秀于市，以谢百姓”。愤然而去。杨秀的案子交由杨素、苏威、牛弘、柳述和赵绰审理。当时，杨素当朝用事，而这也就等于由太子广来操办了。
太子广唯恐四弟不死，派人暗中制作木偶人，上书五弟汉王谅名字，缚手钉心，埋于华山之下，再让杨素前往发掘，当然是罪证确凿。而且，杨素还发现蜀王秀作的反叛檄文，宣称将统帅雄兵，“指期问罪”云云。于是，文帝下令将杨秀废为庶人，幽禁于内侍省，不得与妻子儿女相见。而且，还派遣酷吏赵仲卿“奉诏往益州穷按之。秀宾客经过之处，仲卿必深文致法，一时愁云密布，冤声四起，而文帝却以为赵仲卿办事干练，赏奴婢五十口，黄金二百两。身遭囚禁的杨秀实在不清楚自己到底犯了什么弥天大罪，上表作检讨，说自己”九岁荣贵，唯知富乐，未尝忧惧。“同时请求文帝让他与爱子相见，”请赐一穴，令骸骨有所“这一检讨与其罪名相去实在太远了，也许杨秀经过反思，能检讨的就是这些了，但此时文帝完全是以”君道绳之的态度来对待儿子，自然大为不满，干脆下诏公布其谋反罪状，足足列了十条，无非是把父子兄弟不和的琐事怨言上升到政治的高度，其中包含太子广的栽赃。唯一表现出一点人道的是一段时同以后终于允许杨秀之子陪禁。就这样，杨秀被长期关押，直到隋朝灭亡时，为宇文化及所残害。
文帝的第五个儿子是杨谅，字德章，一名杰，开皇元年立为汉王。开皇十二年为雍州牧，加上柱国、右卫大将军。岁余，转左卫大将军。汉王杨谅深受隋文帝宠信，开皇十七年（公元597年），被任命并州（治所在今山西太原市西南）总管，自崤山东至大海，南至黄河，共有52州，皆隶属于汉王。特允许汉王便宜行事，不必拘泥于法令。杨谅自以为所属之地为天下精兵处，太子杨勇受谗被废，在家中郁郁不乐；待到蜀王杨秀获罪，杨谅越发自以为不安，暗中谋划夺取帝位。为此，杨谅向隋文帝说：匈奴经常侵犯边境，应当增修武备。于是，杨谅在并州征发徭役，修缮器械，招集亡命之徒，左右的亲兵近万人。
待到隋文帝驾崩，隋炀帝杨广派车骑将军屈突通用隋文帝的玺书传杨谅入京。原来，隋文帝事先因颇为关心他这个小儿子，曾与杨谅有过密约：“如果用玺书召你入京，在敕字旁边加一点，又与玉麟兵符合者，你就可虚例入京。”杨谅打开玺书后，没有发现验证。知道情况有变，便审问屈突通，他不屈服，杨谅派他回归长安，于是起兵反叛。
随从杨谅起兵反叛的，共有19州。
并州总管府兵曹裴文安对杨谅说：“井陉（今河北井陉西南）以西，已在大王的掌握之内；山东的兵马也为我所有，应全部征发调用；再分派瘦弱的士兵驻守要害之地，仍命令他随时向向四方攻城掠地，大王则率领精锐部队，直入蒲津（即蒲坂律）。我请求担任前锋，大王率大军继后，风行雷电，即刻便可兵至霸上，咸阳以东可指挥而定。京师震动扰乱，军队来不及集结，君臣上下相疑，群情离心惊骇。此时，我方陈兵号令，谁敢不从！旬日之间，便可以大局已定了。”
此时，隋炀帝杨广任命右武卫将军丘和为蒲州（治所在今山西永济西蒲州）刺史，镇守蒲津。杨谅挑选精锐骑兵数百人，头上戴着妇女的头巾，伪装成杨谅的宫人，声称要取道回归长安。守门的官吏没有发觉，后来丘和发觉情况有变，越城逃归长安，蒲州长史高义明、司马荣毗都被活捉了。
后来，杨谅又将裴文安调回，斐文安返回后对杨谅说：“兵机贵在诡秘神速，原本预定出其不意。大王既不向前行进，又把文安调回，使敌方计谋成功，我方大势已去了。”
杨素率军一路大胜，介州刺史不战而逃。后杨谅又闻赵子开兵败，大为恐慌，亲自率10万大军，于蒿泽（在今山西汾阳西）抵拒杨素的军队。适逢天降大雨，杨谅想率军退还，后大败。
群臣上奏说汉王杨谅应当处死，隋炀帝不予允许，免官为民，开除皇族的属籍，最终幽闭而死。杨谅部下的吏民因杨谅反叛罪受牵连而被处死，流放的多达二十余万家。隋文帝吸取北周王室诸藩王力量微弱的教训，把他的儿子们分封到全国各大藩镇，每人镇守一方，结果五个儿子或因骄奢被废，或彼此相互倾轧，归终，没有一个是善终的。
文帝的五个儿子，除了晋王广得以继承皇位外，其余四子都在家族残害中遭到不幸。文帝夫妇与其兄弟的矛盾相当尖锐，而且，他们当权之后，动不动就“绳之以法”，进行肉体的摧残或消灭。开皇中，文帝亲侄子请葬其母，文帝愤恨说道：“昔几杀我，我有同生二弟，并倚妇家势，常憎疾我。我向之笑云：‘尔既嗔我，不可与尔角嗔。’并云：‘阿兄止倚头额。’时有医师边隐逐势，言我后百日当病癫。二弟私喜，以告父母。父母泣谓我曰：‘尔二弟大剧，不能爱兄。’我自曰：‘一日有天下，当改其姓。夫不爱其亲而爱他人者，谓之悖德，当改之为悖。’父母许我此言。父母亡后，二弟及妇又谗我，言于晋公。于时每还，欲入门，常不喜，如见狱门。托以患气，常锁阁静坐，唯食至时暂开阁。每言入耳，窃云：‘复未邪？’当时实不可耐，羞人无兄弟。世间贫家兄弟多相爱，由相假藉；达官兄弟多相憎，争名利故也。”
显然，文帝三兄弟各自成家后关系就不和，诸弟开始反抗他，相互间冷嘲热讽。为了这么点事，文帝就发誓一旦掌权要把弟弟逐出家门，改为悖姓。后来，他也差不多就是这么做的，大弟早逝倒好，二弟便被他毒死，而且亲侄都遭受迫害，连埋葬死去的母亲，文帝都要控诉一通。这种言传身教，子女们自然看在眼里，记在心上。
对于兄弟之间的争执，文帝夫妇对于女的偏心是相当明显的，如对蜀王秀总是带着偏见，对子女之间的事不作调查，偏听偏信，非但不加以调解，反而公开支持一方，后进晋王广夺嗣就是突出的例证，这些做法都极大地促进子女间矛盾的激化。文帝子女待人粗暴专横，蜀王秀动不动就捆绑捉拿儒生，甚至让他们执戈服役以羞辱他们，颇有其父风格。文帝骄纵子女，目无法纪，晚年又怀疑他们奢侈僭越、有政治野心，“以君遭绳之”，责之以“不忠不孝”，从而推卸掉自己的所有责任。
当隋文帝平定南陈的时候，天下人都以为从此可以太平无事了。监察御史房彦谦私下对亲人说：“主上嫉妒刻薄而又苛刻残酷，太子卑弱，诸王擅权，天下虽已安定，可是正在酝酿着新的危机和变乱。”
房彦谦的儿子房玄龄也秘密地对父亲说：“主上本无功德，以奸诈谋取得天下。他的几个儿子都骄奢淫逸，不讲仁德，势必要自相诛杀夷灭。今日虽然天下平定，可是隋朝的灭亡却是翘首可待。”隋王朝短命而亡的原因是多方面的。五子内争的事实，至少预示着隋王朝内部是蕴藏着深刻危机的。