有一次，隋文帝秘密让人给几个儿子看相。看相人说：“晋王眉上双骨隆起，贵不可言。”隋文帝又问大臣韦鼎：“我的几个儿子，谁能够继承我？”韦鼎说：“皇帝和皇后最喜爱谁，谁就应该继承皇位，这不是我所敢于预料的。”隋文帝笑着说：“你不肯明说吧！”
杨广看出父母不喜欢太子却喜欢自己，就抓住时机加紧活动。一次，他入朝后要返回扬州总管任上，进宫向独孤皇后辞行，说：“臣虽然愚鲁，但很注意维护兄弟间的情谊。也不知因为什么得罪了太子，他总想暗算我。”说着，哭泣不止。独孤后相信了他，也泪流满面，愤愤地说：“太子越来越不像话了。我为他娶元家姑娘，他竟不以夫妇之礼对待她，专宠阿云。以前毒死太子妃，我还没治他们的罪，现在又要来暗算你！我在世时尚且如此，我死后他还不把你整死！”杨广又拜伏在地，呜咽不止，独孤后也悲不自胜。从此，独孤后拿定主意要废掉杨勇，改立杨广为太子。
杨广和安州总管宇文述非常要好。一次，他向宇文述问计。宇文述说：“皇太子失爱已久，令德不闻于天下。大王以仁孝著称，才能盖世，南平残陈，北伐突厥，屡建大功。皇上和皇后都很钟爱您，四海之望，实归大王。但废立太子是国家大事，骨肉之间，实在不容易谋划。越国公杨素，深得皇上信任。当今能劝说皇上废立太子的，只有杨素一人。而杨素所信任的人，只有他的弟弟杨约。我很了解杨约这个人，请允许我到京师找他商量，共图大事。”杨广听罢大喜，给了宇文述很多珠宝，让他见机行事。
杨约当时任大理寺卿，杨素要干什么事，都要先找他拿主意。宇文述到长安，有意接近杨约，赌博时故意输给他，把杨广给自己的珠宝都输光了。杨约得到很多珠宝，拿出一些送给宇文述。宇文述乘机说：“这些珠宝都是晋王赏赐的，让我和您共为欢乐。”杨约大惊，说：“为什么这样做？”宇文述便把杨广想谋夺太子位的事告诉了他，并劝他说：“您的兄长杨素，执掌大权已经有一些年头了，但他得罪的朝臣，不知有多少，连太子也被他得罪了。虽然皇帝对他很好，但想危害他的人也很多。皇上一旦去世，谁还能庇护他？”这虽已在上文中有所陈述，下面就其枝节，作以详述。
杨约听了这番话，不免有些紧张，问道：“依兄之见，当如何处置？”
宇文述道：“如今太子失爱于皇后，皇上也素有废黜之心，这是您所知道的。若在此时请立晋王为太子，也就在贤兄的一句话。要是能在这个时候建立大功，晋王必然刻骨铭心，感激不尽。这是去累卵之危，成泰山之安啊！”
一席话，说得杨约不住点头，连连称谢道：“多谢仁兄赐教，使我愚兄弟一家去危存安，我这就去同家兄商量。”
杨约告别宇文述后，匆匆赶往杨素府邸，如此这般地说了一番，并道：“晋王势在必立，若是我家拥戴于未定之时，他必然感恩戴德。一旦他临朝执政，对兄长还能不言听计从吗？”
杨素沉思良久，才说道：“这件事我何尝没有想过，不过你只知其一，不知其二。”
杨约不解，说道：“兄长的意思是……”
杨素道：“太子自然是应该废掉，皇上也有这个意思。可是，你看晋王有人君之德吗？”
杨约道：“晋王才兼文武，且有仁德。朝野上下，有口皆碑。兄长还有什么不放心的吗？”
杨素道：“你忘了张丽华的事情了吗？”
张丽华是陈后主的宠妃，是江南有名的长发美女。隋军攻取建康后，杨广立即派人向看押陈宫妇女的隋朝老将高索要她。高认为她乃是乱国的祸水，不仅没给，而且立即将张丽华杀了。杨广对此，怀恨至今。
杨约道：“此事早已过去多年，何必提起？”
杨素道：“由小知大，见今知远。只怕他当上皇帝，比当今太子也好不到哪里去。”杨约道：“只要能长保咱家的富贵，管他好坏呢！”
杨素道：“他未必是个以德报德的人，我担心的也正是这一点。”
杨素一生，历仕两朝，什么样的人没见过？什么样的事没经过？他自然比杨约想得深、看得远、认得准。只可惜贪欲胜过了智慧，他没有能够作出正确的判断。后来，杨广上台，第一个遭到灭族之祸的，便是杨素一家，这是后话暂且不提。
听杨素这么一说，杨约不禁有些失望：“看来兄长是不想管了？”
杨素摇了摇头说：“既然他已经找到我们头上，不管岂不更糟？”
杨约这才高兴地说：“皇后之言，主上无不听从。兄长既然肯出面，何不先从皇后入手！”
过了几天，杨素到宫中侍宴。席间，他屡次提到晋王仁孝谦恭。以此来试探皇后。独孤后哭着对他说：“你说得很对，我这个儿子非常孝顺，每当和人说起自己远离父母，都痛哭流涕，不像太子终日和云妃欢宴，专门亲近小人，猜疑兄弟。我之所以越发疼爱晋王，是怕太子要暗算他。”说着，她给了杨素一些金子，让他劝说隋文帝废掉杨勇，改立杨广为太子。
杨勇多少知道他们的密谋后，非常恐惧，不知如何是好，时常有反常表现。隋文帝让杨素去查看杨勇动静。杨素来到东宫，故意拖延时间，让杨勇等了许久。见面后，杨勇不免埋怨他一通。杨素回来对隋文帝说：“太子怨望，恐有他变，应该加以防备。”隋文帝听了，对杨勇更加疏远。
独孤后时常派人窥视东宫，搜集杨勇丑闻，然后添油加醋地向隋文帝报告。
杨广又令亲信段达收买东宫近臣姬妾，让他诬告太子图谋不轨。
在独孤后的屡次劝说之下，隋文帝终于拿定主意。开皇二十年（600年）十月，隋文帝在武德殿召集诸王和文武百官，当众宣布废掉杨勇，改立杨广为太子。
杨勇被废后囚禁在东宫，隋文帝令太子杨广看管他。杨勇自以为废掉他不是因为他的罪，屡次要求面见隋文帝申诉冤情，都被杨广阻止。杨勇于是爬到树上大喊大叫，想让隋文帝听到后接见他。杨素对隋文帝说，杨勇被鬼神附体，已经神志昏乱，不可救药了。隋文帝竟信以为真，杨勇从此再也没见过隋文帝。