永安即白帝城，扼守瞿塘峡口的长江北岸，地势险要。杨素在这里打造了“五牙”、“黄龙”、“平乘”、“舴艋”等各式战船，其中“五牙”船最为庞大，船上起楼5层，高100多尺，前后左右各设6根拍竿用以接舷水战时拍击敌船，每船可容纳士兵800人。
十月的长江，西风凛冽。杨素接到进军攻陈的命令后，立即率水军出永安、过三峡，顺风顺流东下，很快便抵达陈军驻守的险滩狼尾滩。狼尾滩怪石林立，易守难攻，陈朝将领戚欣率领几千人和百余艘“青龙”战船驻守此地，阻止隋军东下。面对如此险峻复杂的地势，有些将领有畏惧心理，杨素分析说：“我军东进，如果连狼尾滩都攻不破，怎能震撼敌军？但敌军占据有利地形，我们不能硬拼。如果白天进攻，敌人会发现我军虚实；不如发动夜袭，利用夜色掩护，杀他个措手不及。”杨素派部将王长袭领步兵从南岸攻击戚欣的水寨，令刘仁恩率骑兵从长江北岸兼程西上，自己亲率几千艘战船为主攻。三路人马约定在同一时间发动突袭，戚欣摸不清隋军虚实，不敢恋战，驾船逃跑。陈军顿时乱作一团，大部被杨素俘虏。
兵贵神速，杨素未加停留，继续东下，到达西陵峡的峡口岐亭。岐亭守将吕仲肃严阵以待，把自家的私产全捐献出来充作军用，发誓要死守阵地，士气十分高昂。杨素多次侦察，都无隙可乘、无计可施，于是决定正面强攻。他亲自率水军攻打吕仲肃的水寨，起初的几次战斗，隋军损失惨重，有5000人被杀，死者的鼻子也被陈军割去报功请赏。一时间人心惶惶，怯怕死拼硬战。杨素果断下令：“狭路相逢勇者胜！要不惜一切代价进攻！”他组织了一批又一批的敢死队，连续不断地发动人海攻击，经过40多次血腥的厮杀，陈军日渐支持不住，吕仲肃被迫放弃岐亭，率残兵退守荆门延洲。杨素令“五牙”大舰日夜不断地追击吕仲肃残部，在延洲聚歼敌军，吕仲肃只身逃脱。此战之后，陈朝水军闻风丧胆，杨素所向披靡，于开皇九年春天抵达汉口，胜利完成了从侧翼进攻陈朝的作战任务。
这年正月，韩擒虎攻陷建康，活捉了陈后主，陈朝宣告灭亡。隋文帝奖赏诸将战功，封杨素为荆州总管和越国公。
陈朝虽已灭亡，但江南仍时有叛乱势力，少则聚众几千，多者拥兵数万，威胁统一的局面。隋文帝任命杨素为行军总管，负责平定江南。
开皇十年，杨素率军一路扫荡零散的几股叛军，进抵钱塘江西岸，准备剿灭最大的一股叛乱势力、自称天子的高智慧。高智慧有几万人马，在钱塘江东岸安营扎寨，连营百余里，声势浩大。杨素召集诸将研讨进攻方案，副将来护儿建议说：“叛军以逸待劳，船只众多，长于水战。如果正面进攻，不易取得胜利。不如主力部队严阵以待，让我带几千名尖兵偷渡过江，火烧敌营，大军乘机掩杀，使叛军进退两难、损兵折将，杀伤其有生力量。”杨素听后大喜，当天夜里就令来护儿行动。来护儿率兵悄悄渡江登上东岸，四处放火。高军从睡梦中惊醒，见烟焰漫天，一时间惊慌失措。杨素乘机发大军猛攻。两军自凌晨战至下午，高军损失惨重，高智慧率残部乘战船沿江败逃入海，取海道往南逃窜。
杨素兵分两路追歼叛军，一路由部将史万岁率两千人马自东阳进入山区扫荡小股残余势力；一路由自己率领走近道经余姚追截高智慧。杨素追到永嘉，截住高军，一阵大杀，擒获数千人。高智慧如惊弓之鸟，一口气逃到泉州，投靠了另一股叛乱势力王国庆。史万岁率领的那路人马，跋山涉水千余里，历时3个月，经700多次战斗，荡平了沿途的叛乱者。由于转战太急太远，和杨素的大部队失去了联系，史万岁便把捷报装在竹筒中，浮水顺流而下，终于将消息告知了杨素。
杨素知史万岁大捷，更加精神振奋，准备继续南下，一举扫平王国庆。此时，隋文帝念他长期鞍马劳顿，下诏召他回长安接受赏赐。杨素认为，叛军还未最后消灭，如不一鼓作气穷追猛打，必将后患无穷。他写了一封奏疏，请求暂缓回京、继续进兵，同时激励部下将士，猛追穷寇，一劳永逸！
隋文帝接到奏疏，颇为欣赏，当即准奏。而王国庆收拢了高智慧残部之后，愈发嚣张而有恃无恐。他自以为海路艰险，隋朝北方军队不擅航海，短期内难以到达，因而放松了戒备。杨素乘敌麻痹之机，率船队走海路迅速驶抵泉州。王国庆一觉醒来，见隋军突至，大惊失色，不敢防守，弃城向各岛散逃。杨素分遣诸将，跟踪追击，各个击破。王国庆穷途末路，被迫交出了高智慧，率领本部人马向杨素投降。
杨素转战江南几千里，用兵不到一年，速战决战，一口气干净利落地平定了江南，显示出高超的军事指挥才能。
当他凯旋长安的时候，满朝文武没人再把他视为只会舞文弄墨的文士，都知道他是一位可以笑着打硬仗、打恶仗的将军。
巧妙利用独孤皇后吹枕边风
杨素当然并不只满足于自己是一个军事家，他要更多地发挥谋略，当一名政治家，获取更大的权势。
尤其是在他代替老臣苏威当上尚书右仆射以后，这种欲望愈发强烈得难以抑制了。
营建仁寿宫，大败突厥，杨素进一步获得了政治资本。
苏威是西魏大臣苏绰的儿子，为人愚笨少才，但与世俯仰、不露棱角，所以谨厚圆滑，久居高官。杨素很瞧不起他，常对他冷嘲热讽，早有取而代之的心思。平定江南之后，文帝自然要重用杨素，苏威也看出了苗头，主动提出让贤，杨素顺理成章地坐上尚书右仆射的高位，与另一位资深大臣、尚书左仆射高一起执掌朝政。
杨素一向心高气傲，看得起的人不多，但他对高是有些敬畏的。
高不但确有文武大略，明达世务，更有着别人所无法比拟的政治背景。隋文帝的皇后独孤氏，是北周大司马、河内公独孤信的女儿。独孤信有个亲近的僚佐叫高宾，高便是高宾的儿子。在杨坚策划代周的过程中，高是得力的助手。杨坚即位称帝后，任命高为尚书左仆射，晋封渤海郡公，朝臣中没人能与他相比，文帝常常只称他的姓而不叫他的名。后来又亲上加亲，把太子杨勇的女儿嫁给高的儿子高表仁，赏赐的物品不可胜计。
杨素知道：对于权势如日中天的大臣来说，是无法与之争锋的；而古往今来，单独靠军功保有权势的人也不多见，自己还必须做些别的事情，赢得文帝的欢心。
不久，传出消息：文帝决定在扶风修建仁寿宫。杨素立即请求主管这项工程，因为开皇二年，高就曾在旧长安城东南负责创建新城，建设了规模庞大的大兴城，使文帝十分满意，现在自己何不也在这方面显示一下才华呢？
文帝批准由杨素监造仁寿宫，杨素心里琢磨：如何把握动用土木的规格和标准？文帝一向提倡节俭，这是人所共知的，若搞得太豪华，弄不好会惹麻烦；但是，文帝即位已经13年了，节俭的意识有所淡化，现在既然提出修建行宫，又怎能修得平平庸庸呢？修得豪华了，大不了挨一通训斥；可要是修得寒酸了，弄不好会惹来杀身之祸。
杨素打定了主意：宁奢勿俭，不惜人力和物力，以军事化的管理方式加速修建！
工程迅速开始了。平山填谷，严厉催工，服役的百姓大多累死了。劳累倒下的，就推进坑洼里，盖上石块泥土，就势垫成平地。死了一万多个人，仁寿宫终于建成了，建得巍峨壮丽，台榭错落，宛转相属。
文帝从传言中得知：杨素用极不人道的办法修建了一座极其漂亮的仁寿宫。他不便径直来视察，先派高来检查，高回去报告说：建得过于绮丽，死的民夫太多。文帝听后，不大高兴。杨素知道后，有些担忧，但是他马上觉得事情无妨，可以向独孤皇后求援，请她在文帝面前开释开释。
这位独孤皇后，有两大特点：一是“参政欲”，二是“妒嫉心”。她时常干预朝政大事，意见又往往与文帝相合，宫中称为“二圣”。她14岁嫁给杨坚，让杨坚发誓不与别的女人生子女；杨坚当皇帝后，独孤氏更是妒忌成性，不准后宫嫔妃亲近皇帝。既然有这样一位不甘寂寞、敢说敢干的皇后，为什么不想法让她劲吹“枕头风”呢？
杨素前去拜见独孤皇后，说：“帝王的法度，原本应有离宫别馆。现在天下太平，修建这么一个行宫，怎能说是奢侈浪费！”独孤皇后听着有理，便多次开导文帝，文帝也就不生气了。后来文帝驾临仁寿宫，实地游览了一番，反倒高兴起来，说杨素一片忠心，大加奖赏，赐钱一百万，锦绢三千匹。
获得丰厚的财物，杨素并不在意。从仁寿宫一事中，他得到了两个关键的启示：独孤皇后大有利用的价值；高是自己扩大权势的拦路石。
想方设法扩大权势
杨素敬畏高，并不等于他不想超过高。高考察仁寿宫后的奏报，差点使杨素惹上麻烦，不削弱高的权力，自己怎能上升？可是，皇上如此信赖高，谁能改变皇上的态度呢？
想来想去，只有独孤皇后一个人能做到。以自己目前的实力，公开与高竞争是不行的，不妨暗中做手脚，在独孤皇后面前说高的坏话，使她再在皇帝面前说高的坏话。
没有多久，杨素就得到了一个“打小报告”的绝佳机遇。
仁寿宫修好后，文帝在那里秘密临幸了一个宫女。但消息毕竟还是走漏出去，独孤皇后便秘密杀了那个宫女。文帝大怒，又不敢对皇后发作，便独自一人骑马驰出宫苑，不走道路，跑进荒山野谷二十多里。高、杨素快马追上，扣马苦谏。文帝叹息说：“我贵为天子，竟然得不到自由！”高劝解道：“陛下怎能为了一个妇道人家而忘了天下！”文帝略有悔悟，驻马许久，直到半夜才返回宫中。独孤皇后也感到自己做得过分，见到文帝后，流涕道歉，高、杨素二人也从中调和劝解，文帝与皇后又和好如初。事后，杨素单独面见皇后，添油加醋地将高的话复述了一遍。由于父辈的关系，皇后本来很信任高，但听说高称自己是一个妇道人家，心中甚是恼恨。从此开始讨厌高，时常在文帝面前诋毁高，文帝因此而渐渐疏远高。
杨素感觉到了其中的变化，心中暗自欢喜。转眼到了开皇十八年(公元598年)，边疆陡起战事，突厥达头可汗进犯边塞。文帝任命杨素为灵州道行军总管，出塞迎战。
以前隋军将领与突厥作战时，由于惧怕突厥骑兵的凶猛冲击力，一般都布成方阵。所谓方阵，就是用兵车和其他障碍物结成四边防御的屏障，步兵持长兵器在兵车上迎战，骑兵布置在方阵中央。这种阵势虽利于防守，但攻击力不强，只能自卫而已。
杨素领兵出塞，遭遇达头可汗。杨素对部下说：“方阵是一种单纯自卫的办法，不是取胜之道。我们应该以骑阵对骑阵，主动出击，以攻为守！”部下有人表示担忧，但杨素态度坚决，断然抛弃了旧法，令部队布成骑阵。为了树立必胜的信心，他亲自操练骑阵，严肃纪律，对流露出胆怯的士兵立斩不赦。一时间人心震怖，无不竭力操练。
达头可汗得知杨素变更了阵式，非常高兴，得意地说：“这是老天爷要帮助我啊！”他下马仰天而拜，然后率领十余万精骑杀奔而来。
两军对阵，杨素召来部将周罗喉，命令他率一部铁骑先行攻击，如不胜而回，就全部斩首。周罗喉等人领命而出，殊死搏战，以一当十，令突厥骑兵十分震惊。战斗进行了一段时间，杨素见时机成熟，下令骑兵主力部队奋然突击，后退者格杀勿论。隋军迅猛冲击，大破突厥骑兵，达头可汗也身负重伤，落荒而逃。
此战大获全胜，文帝下诏褒奖，赏赐万钉宝带和两万匹丝绸。杨素的儿子杨玄感随军征战有功，亦进位为大将军。尽管杨素驭军严厉，动辄杀人，但他对将士有功必赏，毫不吝惜钱财，所以士兵也愿意随他征战。
大败突厥之后，杨素又在朝廷中增加了政治资本，势力直逼高。
以一己之力废掉太子
开皇二十年，杨素迎来了一生中最为关键的时刻。这年夏天四月，晋王杨广出任灵朔道行军元帅，杨素在他麾下担任长史，二人有了密切的交往。
杨广凭着他的狡猾，知道杨素是个难以寻觅的可用人才；杨素凭着他的灵敏政治嗅觉，感到杨广有夺嗣的野心，宫廷中已出现派系分裂，太子杨勇的地位岌岌可危。
二人彼此心照不宣。
杨素在政治上投下最大的赌注，把宝押在了杨广身上。
策划宫廷阴谋，废黜太子杨勇，拥立杨广。杨素工于心计，势焰煊赫。
隋文帝信守了与独孤皇后结婚时的誓言，他共有5个儿子，都是独孤皇后所生。
长子杨勇，初时封为博平侯、长宁郡公，文帝即位时立为皇太子，参决军国大事。他为人宽厚仁和，但生活奢侈，多有内宠。
次子杨广，初封雁门郡公，开皇元年13岁时立为晋王。他聪慧机敏，矫情饰诈，早就窥视着兄长的位置，企图取而代之。
三子杨俊，开皇元年立为秦王，后来逐渐失去文帝的欢心，免官闲居，忧惧成疾，开皇二十年病死。
四子杨秀，立为越王，领兵出镇蜀地。他有胆气、多武艺，但奢侈成性，文帝始终对他存有戒心。
五子杨谅，立为汉王，开皇十七年为并州总管，甚得文帝宠爱。
杨勇早早被确立为太子，又有亲家高辅助，所以地位比较稳固。但他生活奢侈，受到文帝的训斥。又因不爱独孤皇后为他选定的元妃，却宠幸云妃，得罪了独孤皇后，渐渐失宠。善于察言观色的杨广看出了其中的苗头，乘机施展种种阴谋手段，以求取而代之。他装作只同萧妃相处，概不接近别的姬妾的样子，车马侍从也很俭朴，恭敬地接待朝臣，极讲礼节，以博得父母的欢心。这些手段虽然管用，但毕竟是些小伎俩，关键是要收揽重臣，取得强有力的支持，以便与高相抗衡。
而当时唯一能与高相抗衡的，就是杨素。
杨广猜测杨素与高不和，且功名心极重，可以借他的手击垮太子杨勇。他经过一番观察之后，便将这种想法透露给了杨素。
杨素虽已预感到杨广的企图，但当杨广明言说出时，他还是多少有些犹豫。夺嗣可不是一件小事，万一失败了，不但权势尽失，恐怕连命也保不住。也许可以冒冒险，可是究竟有多少胜算呢？
一向独断专行的杨素，此时也不得不慎重考虑，征求异母弟弟杨约的意见。
杨约小时候爬树堕下来，被树桩扎坏了睾丸，因此竟成为“太监”。他表面上性情沉静，内心却阴鸷诡诈。听了杨素的话后，他分析说：“兄长功名盖世，长期以来执政当权，得罪了不少人。高对你心存不满，皇太子怎会对你有好感？虽然你取信于皇帝，但想搞你下台的人还是有很多啊！一旦皇帝百年之后，谁还能保护你呢？现在皇太子失去皇后的欢心，皇上也有废黜太子的念头，你若能抓住时机，拥立晋王，就能长保富贵，永获平安。如果迟疑不决，一旦有变，让太子杨勇掌握了大权，那你就要大祸临头了！”
杨素点头称是。但是为了保险起见，他还是决定亲自出马，探听一下皇后的想法。