清官难断家务事，皇帝家里的事情外人就更难说清楚了。皇帝家里的任何事情都和政治紧密结合。杨坚的长子杨勇是个缺心眼的太子，二儿子杨广是文武全才、功勋卓着的晋王。在宇文述、杨素等人的帮助下，再配合一些小把戏，杨坚和独孤皇后夫妇最终废杨勇，改立杨广为太子。
杨勇缺心眼，杨广善表演
杨坚的太子杨勇是个老实人，平日里“率意任情，无矫饰之行”，有一说一，有二说二。往好了说，杨勇是表里如一，往坏了说，杨勇就是缺心眼。
独孤皇后为大儿子杨勇挑选了元氏之女为太子妃。这个元妃出身高贵，生性温婉贤淑，端庄有礼，在独孤皇后看来非常适合将来母仪天下，很喜欢这个儿媳妇。但是杨勇不喜欢既严肃又程序化的太子妃，而喜欢出身工匠家庭的云氏，立云氏为昭训。云昭训不仅相貌秀丽，而且活泼乖巧，很对杨勇的性格脾气。
儿子坚持要纳云氏，独孤皇后虽然嫌云氏有失庄重，也勉强承认了她的昭训地位，但告诫杨勇尽量少接近云氏，多关心正妻元氏。元氏也经常提醒丈夫平日要言行谨慎，表现稳重。可元氏越是提醒，杨勇就越觉得受到限制，更加喜欢率真质朴的妾室云氏。最后杨勇和云氏卿卿我我，形影不离，彻底冷落了太子妃元氏。
我们知道，独孤皇后非常在意“生活作风”问题，对杨勇宠爱妾室的行为非常不满。我们也知道杨坚和独孤皇后前期提倡躬俭治国，也要求皇子们生活朴素。太子杨勇达不到母后独孤皇后规定的过分朴素的生活（一般人都做不到），面对日益丰富的物质，过起了比较奢华的生活。杨勇是太子，追求一定的物质享受并不过分。杨勇的生活标准也就是稍微高了一点，可在独孤皇后和杨坚眼中就变成了不听父母教诲、享乐没志气的不肖子。
元氏眼看着丈夫杨勇是扶不起的阿斗，绝望了，没多久就郁郁而终。在元氏死后不久，小妾云氏生下了一个男孩。这是太子的长子，杨坚的皇长孙，本来应该是一件大喜事，不料却成了家庭矛盾爆发的导火索。独孤皇后本来就对太子妃元氏的死耿耿于怀，现在杨勇又和自己讨厌的妾室云氏生下了孩子，简直是公然与自己作对。独孤皇后对杨勇这个儿子彻底失望了。
父亲杨坚也渐渐对杨勇失去了信心。杨坚是个很多疑的皇帝，杨勇却公然和社会上的豪侠剑客往来，还毫不避讳地在宫廷中接待这些豪客。那些大侠们，潇洒惯了，横来横去，持刀带剑地在宫廷里晃来晃去。杨坚毕竟是皇帝，是宫廷的主人，突然看到一大群面相凶恶的人在面前刀来剑往的，心中肯定不舒服。
杨勇交往的大侠们中间还有一些人是占卜算卦的人。杨勇犯了一个致命的错误，就是让这些占卜的人算算父皇杨坚的寿命，看看父亲能活多少时间。也许，老实的杨勇不知道身为太子，他这么做是在玩火；也许，杨勇这么做的本意是希望父皇长命百岁，看看父亲能否活到一百岁。但事情传入杨坚的耳朵后，就变成了太子觊觎皇位，早日盼着皇上驾崩。
杨坚不能不怀疑杨勇的个人品质。父子开始日益隔阂。杨坚越来越不愿意见到太子了。
杨勇搞不明白父皇怎么突然间就不待见自己了。越想越不明白，就收买、安插杨坚身边的人去打探消息，窥测父亲的行止。杨勇不是搞阴谋诡计的料，小动作很快就被杨坚给发现了。杨坚气愤地说：“朕长年住在仁寿宫，与太子的东宫（在大兴）相隔甚远。但是我身边发生的再小的事情，太子都知道得一清二楚，而且比驿马都要快。我一直很奇怪，现在才知道是怎么回事！”
此后，杨坚为了提防杨勇政变篡位，将身边的警卫数量增加了好几倍，而且晚上都不在固定的地方睡觉了。
父子之间隔绝到这个分上，杨勇的太子地位就岌岌可危了。杨勇理应“痛改前非”，想方设法巩固地位，可他又干了件愚蠢到家的事情。
冬至的时候，百官要朝贺天子。有一群浮躁又头脑发晕的官员觉得，杨勇是太子，那就是未来的天子，也需要去朝贺一番，提前搞好关系总没错。于是，他们就集体去东宫朝贺杨勇了。杨勇的头脑更简单，命令东宫派出仪仗，奏响天子礼乐，摆出场面来接受众位官员的朝贺。杨坚远远地听见东宫传来天子之乐，吃惊地下令追查。最终，追查的结果成为压死骆驼的最后一根稻草。
杨坚下决心，要舍弃杨勇这个太子。
平心而论，杨勇并无什么大的过失。他的确犯了很多错误，比如宠爱云氏、追求享受、窥探皇帝言行、接受官员朝贺等，但这些错误不至于让杨坚和杨勇父子形同仇敌，恩断义绝。杨坚的多疑敏感，对权力的强力维护；杨勇的心智粗疏，对政治一窍不通；父子母子之间又缺乏沟通了解，是导致这场家庭纠纷的主要原因。
杨坚一共有五个儿子。长子杨勇缺乏心机，言行直来直去。
三子杨俊被封为秦王。杨俊奢侈无度，崇信佛教又好色淫乱。杨坚任命杨俊为并州总管，把山西交给秦王。可杨俊在任上只知道聚敛民财，奢侈享受，还搜罗美女，胡作非为，最后发展到违制建造宫殿的地步。
杨俊的王妃崔氏出身名门望族，和婆婆独孤皇后一样嫉妒成性。崔氏看丈夫在外面拈花惹草，很少来自己房中亲热，竟然在水果中下毒要把杨俊毒死。可能是第一次杀人，崔氏的毒药量放得不够，没有把杨俊毒死，只是毒残了而已。
杨坚知道这桩人间悲剧后，下诏赐死谋害亲夫的崔氏，同时免去杨俊官职，拉回京城来囚禁起来。大臣们纷纷上奏，认为杨坚对儿子的处罚太重了。杨坚坚持说：“我不仅是五个儿子的父亲，还是天下亿万百姓的父亲。如果对儿子就要法外施恩，为什么不为皇帝的儿子专门制定一套法律呢？”
杨俊身子瘫了，官职也没了，躺在床上很后悔，上表谢罪。杨坚不仅不安慰瘫痪的儿子，还下了一道严厉的诏书痛骂了杨俊一顿。杨俊羞愧难当，病情加重，死了。
杨俊的死，不能算是善终，但也称得上是自然死亡。他留下两个儿子：杨浩、杨湛。
四子杨秀被封为蜀王。杨秀性情暴躁，为人残酷，曾经生剖死囚，取胆为乐。杨坚一直很讨厌这个儿子，曾对独孤皇后说：“杨秀不得好死！我活着的时候，他不会出什么事情；但等我死了，杨秀肯定会造反。”尽管如此，杨坚仍然让杨秀去统治四川地区。结果杨秀在四川“违犯制度，车马被服，一拟天子”，关起大门做起小皇帝来。
次子杨广被封为晋王，各方面表现都比兄弟们强，是五子中的佼佼者。开皇十七年（597年），史万岁远征云南凯旋，途中分别拜访了秦王杨俊和晋王杨广。杨俊亲自接见了史万岁，好奇地向他打听云南的奇闻逸事，索要掳获的奇珍异宝。杨广也亲自接见了史万岁，“虚衿敬之，待以交友之礼”，和史万岁谈的也都是军国大事，如何安定南方，如何驾驭突厥，等等。杨广和杨俊为人的高低贤愚，一望即知。
杨广很小的时候，就名声在外。据说他七岁就能写诗，一生文学作品结集五十五卷（流传下的有严可均《全隋文》收录的文章一百多篇和逯钦立《先秦汉魏晋南北朝诗》收录的诗歌四十四首，皆有据可查）。杨广对自己的文学才能相当自负，当了皇帝以后曾对群臣说：“天下人都说朕是承藉绪余而有四海，可就是让朕与士大夫们一起比赛高下，也应当由我来做这个天子。”
杨广真的这么有才吗？有他写的诗作证。杨广曾写过《季秋观海诗》：
浮天迥无岸，含灵固非一。
委输百谷归，朝宗万川溢。
如果不事先说作者是杨广，很多人都以为这首诗的作者是曹操那样的一代豪杰。杨广还写过一首《春江花月夜》，对景物特点的拿捏非常到位，意境优美：
暮江平不动，春花满正开。
流波将月去，潮水带星采。
成年后，杨广历经磨炼，南平吴会，统一天下；北却突厥，建功立业，在五个兄弟中功绩和声望最高。这一点，就连杨广的敌人和日后唐朝的君臣们也不否认。
能干的人不少，既能干政治上又成熟的人则少之又少。杨广就是那少之又少的人群中的一分子。
杨广知道父母提倡节俭，个人生活也十分俭朴。晋王府里没有任何古物珍玩，也没有娇姬美妾，全府上下都衣着朴素，饮食平淡。王府里的乐器常年不用，都蒙了一层厚厚的灰尘。杨广过着清教徒一样的生活。杨广知道父母很重视个人道德，知道母后很看重家庭生活，于是表现得关爱百姓、平易近人、夫妻恩爱。
一次，杨广外出狩猎突遭暴雨。侍卫送上油衣挡雨，杨广拒绝说：“士卒们都在大雨中淋着，我岂能独自避雨？”每次，皇上和皇后从大兴派遣太监宫女去杨广府中办事，无论地位高低，杨广都和王妃萧氏在门口亲自迎接，设宴款待，临别了还捎带上一些江南的土特产。杨广长期在江南当总管，但他的美德盛传在关中地区，这些太监宫女们传话的功劳不小，从上到下都有称赞杨广的。
独孤皇后有点不相信，派人暗中考察杨广的私生活，结果发现杨广和王妃萧氏每天同寝共食，就和父母杨坚和独孤皇后一样。江南是个好地方，游玩的地方多，财富积累也快，美女就更多了。杨广能够克制住内心的欲望，十多年来洁身自好，清廉为政，夫妻恩爱，真的不是一般人可以做到的。
杨广牢牢压制住物质、女色和声乐等方面的享受欲望，是为了实现内心埋藏的更深、更大的欲望——政治欲望。
杨广前半生过得非常顺利，如果说有什么遗憾的话，那就是比哥哥杨勇晚生了一年多。结果杨勇成了太子，自己却只能镇守江南。但凡能力高强、功劳卓着的人，往往会萌生出强烈的政治欲望。杨广的政治欲望就是能够当皇帝，治理江山，他觉得自己有能力也有资格做到。为此，他首先要取代哥哥杨勇的太子地位。
杨广清楚哥哥的弱点，所以反其道而行，任何事情都严格遵照父母的高标准来要求自己。
随着事态的发展，杨勇被废似乎成了定局。杨广思考着怎么让自己取而代之了。
在江南，杨广政治上和宇文述搭档合作，血缘上两人是亲家，在关键问题上老找宇文述来出谋划策。杨广问宇文述怎么抓住机会把杨勇踢下去。宇文述说：“皇太子失宠已经很久了，晋王您仁孝道德闻名于世，而且还有大功，皇上和朝廷都知道。这太子之位非您莫属。但是废立太子是国家大事，涉及父子骨肉亲情，并非简单的事情。现在皇上对丞相杨素言听计从，而杨素很信任弟弟杨约。我认识这个杨约。请晋王派我去京师出差，我暗中与杨约相见，共图废立大事。”杨广大喜，让宇文述带上大量金银财宝（可见杨广平时的清廉是装出来的）进京。这是开皇二十年（600年）的事情。
大理少卿杨约和哥哥杨素走得很近，杨素有什么决策事先都和他商量。宇文述一到大兴，就和杨约套近乎，多次宴请，几番奉上大礼。一次酒醉，宇文述把江南的看家珍宝都拿了出来，请杨约观赏。杨约贪财好利，对这些珍宝垂涎欲滴。宇文述趁机提出赌博，用珍宝作注，杨约马上点头答应。三下两下的，所有的珍宝就都进了杨约的腰包。杨约暴得横财，心里很过意不去，就回请宇文述吃饭。
宇文述这才在饭桌上告诉杨约：“那些宝贝都是晋王送给杨公您的，希望您能喜欢。”杨约大惊说：“为什么要送给我？”宇文述说：“自古贤人君子，莫不与时俱进，以避祸患。杨公兄弟二人，功名盖世，大权在握，已经有几年了。
杨家得罪的朝臣数不胜数，他们正咬牙切齿，伺机报复呢！而其中东宫的太子最恨杨丞相不能让自己为所欲为。杨家虽然和皇帝关系密切，但危险重重啊。一旦哪天皇上‘弃’群臣而去，你们拿什么保护自己？”
杨约心里“咯噔”了一下，是啊，月盈则亏，登顶则衰，杨家未来怎么办？
只听宇文述继续说：“幸好，太子并不讨皇上和皇后喜欢，皇上一直想废黜他。
这些情况，杨公兄弟二人应该是知道的。如今要拥戴晋王为新太子，还不是尊兄动动嘴巴的事情？如果真能将晋王扶为太子，那是大功一件，晋王一定会铭记在心。那么杨家就可以去累卵之危，而成泰山之安了。”
杨约被宇文述说服了，随即去找杨素。杨素琢磨杨广的意思，觉得很有道理，决定联合杨广，保全富贵。从此，杨素与宇文述在京城里张罗起废立太子一事来。
杨素开始有意无意地在杨坚的耳朵边说杨勇的坏话，有的时候也散布一些小道消息。杨坚和杨勇的关系已经很疏远了，这些坏话很有市场。杨素进而私自裁减东宫的护卫，开始排斥那些反对废黜太子的大臣们。
高颎还是丞相的时候，杨坚曾经就废立太子的事情探过他的口风。杨坚说：
“听说晋王王妃萧氏有神明相助，说晋王日后必定拥有天下，你怎么看这个传闻？”高颎明确表示反对：“长幼有序，岂可骤废！”杨坚只好就此打住，不再“挖掘”下去了。独孤皇后知道后，更加记恨高颎。这可能也成了高颎罢官，杨素继任的一个原因。
开皇二十年（600年）年中，夺嗣斗争白热化。晋王杨广亲自出马，来大兴博取更广阔的政治前途。他一把鼻涕一把泪地向独孤皇后哭诉道：“太子对儿臣不满，屡次派刺客谋杀儿臣。儿臣侥幸逃得性命，就是想来京城再看母后一眼。”
独孤皇后对杨勇的怨恨已经根深蒂固了，不假思索地相信了杨广的一面之词。她听杨广这么孝顺，而杨勇竟然那么大逆不道，肺都要气炸了，恶毒地攻击起大儿子杨勇来：“杨勇就是个不成器的东西。早先，他抛开正室，和云氏混在一起。现在你父皇和我都还在，他竟然就谋害你们兄弟，倘若他日成了天子，难道还要你们兄弟向云氏那个妾室跪地求饶，讨得一条生路不成！”
杨坚和独孤皇后夫妇早就有以杨广代替杨勇为太子的意思。现在，杨坚听说杨勇竟然派刺客谋害杨广，觉得废立太子一事已经迫在眉睫了。杨勇不能不废，杨广必须早日成为太子。
十月，杨坚召集权臣，宣布太子杨勇“情溺宠爱，失于至理，仁孝无闻，昵近小人”，列举了种种恶行，废黜了杨勇太子之位。
杨坚说：“我这个大儿子一直就不是个合格的太子，将来肯定就是个昏君。
皇后早就劝我废掉他了。”在杨坚看来，杨勇不仅能力功绩比不过杨广，而且道德败坏，野心勃勃，已经无可救药了。在许多大臣心中，因为杨勇的多数行为的确有失检点，不知轻重，给他们留下了极其恶劣的印象，进而认为杨勇的本质有问题。所以，杨坚夫妇和多数大臣都认为废黜杨勇并没有任何不妥之处，而是理所当然的事情。
杨勇也被叫到朝堂中，亲耳听到废黜的消息。他当场大哭，泪水沾湿了胸前的衣襟。杨勇跪地，语无伦次地表示认错，表示一定要痛改前非。奇怪的是，杨勇对二弟杨广所谓的刺杀指控没有半句辩解反驳的话。也许杨勇宽仁忠厚，不以为意，也许杨勇被吓傻了，忘记辩解了。总之他的表现给人的感觉是承认了所有的罪过和指控。
杨勇之后都被囚禁于府内。这时候，他才感觉到对自己的指控，尤其是谋杀弟弟的指控是捏造的（起码说是偏离了自己的本意），屡次上疏诉冤。