开皇九年（589年）初，隋文帝下令大军向进攻。
灭陈战役还未发动时，吴州总管贺著弼就开始作过江的准备。为了过江顺利，贺若弼采用了麻痹敌军的战术，他叫人将老弱之马卖掉，用钱买了很多船，但把船都藏起来，只在湾内泊放五六十艘破船。陈朝的间谍将这种假象带回去，陈军误以为贺若弼军无船。在军队换防时，贺若弼总是将声势搞得很大，将军队集中在广陵，大张旗鼓，多设营幕。陈军误以为隋军要渡江，急忙发兵防备，当他们剑拔弩张严阵以待时，却发现是隋军换防，虚惊一场。久而久之，陈军对隋军大集人马换防的形式习惯了，也麻痹了。为了进一步麻痹陈军。贺若弼还常让士兵沿江射猎，弄得人喧马叫，陈军对此也渐习以为常，毫无反映。
开皇九年（公元589年）正月初一日，大江上迷雾四溢，乘着茫茫浓雾，贺若弼发兵渡江。隋军过江，陈军竟未发觉。正月初六日，贺若弼军一举攻下建康北面门户，活捉了陈朝南徐州刺史黄恪。贺若弼在发动强大的军事攻势的同时，要求部队纪律严明，秋毫不犯。
与贺若弼渡江同时，庐州总管韩擒虎也从和州横江浦渡江。守卫采石矶的陈军很快被韩擒虎军打败，采石矶落入隋军之手，与此同时，下游的行军元帅杨广也率大军屯于六合镇的桃叶山。当京口的败兵传来了京口陷落的消息，采石矶的守将徐子建也派人告知形势的突变，陈后主才急忙召集大臣公卿商议对策。面对隋军的攻势，陈后主任命骠骑将军萧摩诃、护军将军樊毅、中领军鲁广达为都督，统兵保卫都城，并把南豫州刺史樊猛从姑孰调回京城，派散骑常侍皋文奏镇守姑孰。樊猛是陈朝著名猛将，有谋略，武艺高强，胆气过人。侯景之乱时，樊猛在青溪与侯景军短兵相接，厮杀一天，杀伤侯景军士众多。他所镇守的姑孰，是建康西南的门户，又面临隋名将韩擒虎的威胁，姑孰一失，建康难保。韩擒虎很快攻下姑孰，樊猛的妻子儿女尽被俘虏。
隋军攻下京口、姑孰后，贺若弼军从北道，韩擒虎军从南道同时向建康进发。正月初七日，贺若弼军进至建康东北的钟山，韩擒虎军也占据了建康西南20里的新林。
面对建康城的危急形势，陈朝大将任忠对陈后主说：“兵法认为：客以速战为贵，主以持重为贵。如今城内兵众粮足，应该固守，即使隋军兵临城下，也不出去与他交战。同时分兵隔断江路，让敌军彼此不能联络。然后给我精兵1万，战船300艘，渡江直攻六合。六合的隋军一定以为渡江的军队已被俘获，自然丧气。淮南的土著居民对我非常熟悉，我若到那里，他们必然会响应我。我再扬言直取桧州，断彼归路，隋军自然会撤走。等到春水一下，长江水涨，上游的周罗睺沿江支援，则建康万无一失。”对任忠的计策，陈后主听不进去，他总幻想着一战将隋军击退。任忠苦苦请求不要冒险决战，陈后主不听，便派鲁广达、任忠、樊毅、孔范、萧摩诃等人率军由南至北排开，“南北亘二十里，首尾进退不相知”。
贺若弼在山上，远远望见陈军阵势，知道大战在即，便与所率领的7个总管、甲士8000，冲下山去与敌决战。陈军虽倾巢而出，但诸将心思各异。萧摩诃困妻子与陈后主通奸，无心再战；任忠更把贸然决战看作是冒险；孔范只是个会说大话取悦于陈后主的小人。只有鲁广达，率领士卒与隋军力战，杀退隋军4次进攻，杀死贺若弼手下军士200多人。在萧摩诃被擒、任忠溃败、孔范逃跑后，鲁广达也独木难支，后被俘虏。
任忠败回，向陈后主报告了决战失败的消息，并对他说：“陛下应该休战了，臣已无力再战了。”陈后主拿出两捆金条，让他再招募士兵出战。任忠说：“再战无用。现在陛下只有准备舟楫，到上游周罗睺处。如果陛下愿往，臣当以死奉卫。”陈后主相信任忠，敕令他出外部署安排，让宫人装束以待出发。等了好久仍不见任忠到来，陈后主感到有些奇怪。当时，韩擒虎从新林进军攻击建康，任忠已带领数名骑兵赶到石子冈（今南京市雨花台）投降。南陈将领蔡征正领军守卫朱雀门，听说韩擒虎率兵即将到达，兵士因惧怕都望风而逃了。任忠投降后引导韩擒虎率兵直入朱雀门，守将想要与隋军交战。任忠向他们挥手说：“老夫尚且投降了，你们还抵抗什么？”陈军士兵闻言后都立即逃散。于是，城内的文武百官都争相逃走，只有尚书仆射袁宪还留在殿中，尚书令江总等数人仍居于省中。陈后主对袁宪说：我从来对待卿不如对待别人，今日深感追悔不及。
隋军进入朱雀门，陈后主惊慌失措，想要逃走并躲藏起来，袁宪对陈后主讲：“北方兵马入殿，必定会无所侵驰，如今大事既已如此，陛下还想到哪里去安身？臣希望陛下端正衣冠，坐在正殿之上，依照当年梁武帝见侯景的做法去做。”陈后主没有听从袁宪的意见，下了御榻后便急驰而去。陈后主随从十余名宫人出了景阳殿，想要投井自尽，袁宪苦苦劝阻，后主不听。掌管宫内事务的后阁舍人夏侯公韵用自己的身体挡住井口，陈后主与公韵争执好久，才得以跳入井中。不久，隋军进入殿庭，向井中窥视并且大声呼喊，井下无人答应。这时，军士扬言要向井中投石头，这才闻听到有人喊叫。于是，军士向井中投入一根绳子。在向上提的时候，军士因为沉重而感到惊奇。待到拉上来一看，陈后主是把自己同张贵妃和孔贵嫔都系在同一条绳子上了。而沈皇后却像往常一样居于宫中，并不惊慌。太子陈深年方15岁，闭阁门而坐，太子舍人在一旁侍奉。隋军叩阁门而进入，见太子安坐如故，向隋军上慰劳说：“一路行军，不疲劳吗？”隋军士都向太子致敬。
贺若弼乘胜进军，到达乐游苑。这时，鲁广达还在督率余下的士兵苦战不止，杀死、俘获数百名隋军。直到日暮天黑，鲁广达才下令解甲休息，面向台城再拜而痛哭流涕，对部下说：“我一息尚存而不能拯救国家，负罪深重啊！”宫城中各门的守卫士卒见大势已去，争相逃走。后杨广因贺若弼在预定日期以前率兵与陈军作战，违犯了军令。将他逮捕并交给主管官吏。隋文帝闻知后，传令驿站召贺若弼入京，并在诏书中说：“平定江南，得力于贺若弼和韩擒虎。”于是赐绐布帛万段，又赐予贺若弼与韩擒虎诏书，赞美他们平陈的功绩。高颎因军功受到重赏，加上柱国官号，晋爵为齐公，赐布帛9000段。隋文帝慰劳他说：“您在伐陈后，有人说您想要谋反，朕已经把这个人杀了。君臣之间以道相合，并非是谗言所能离间的。”
隋文帝从容地命高颎与贺若弼议论平定南陈的事，高颎说：“贺若弼首先献平陈的10条计策，后来又于钟山苦战破敌。臣不过是个文官而已，怎敢与大将议论功劳？”隋文帝称赞高颎有谦让的风范。隋文帝在伐陈前，派高颎向上仪同三司李德林询问平陈方略，因而授权晋王杨广统辖全军。至此，文帝赏赐李德林的功劳，授予柱国、封郡公，赏布帛3000段。
当初，隋文帝的父亲杨忠迎司马消难，与消难结为兄弟，友情深厚，文帝以对待叔父的礼节侍奉他。等到隋文帝平定南陈，司马消难被押送到长安，隋文帝特地赦免他死罪，只是发配为乐户，20天后又免除处分，仍然按着旧时的恩情引见。不久，司马消难在家中去世。鲁广达念及本朝的沦亡，伤感过度，患病后又不肯治疗，愤慨地死去。
又过了几天，隋文帝亲临广阳门，宴请将士，从门外一直到南郭城的大道两旁堆满了布帛，按功劳等级给予不等的赏赐，共用去300余万段布帛。原陈国境内，10年免征徭役，其余州县免除当年的租赋。乐安公元谐在宴赏大会上对隋文帝说：“陛下的威望美德披及远方。臣下先前曾请求任命突厥可汗为候正，任命陈叔宝为令史，今日可按臣下的话办了。”
隋文帝对回答说：“朕平定陈国，本是为了铲除恶逆，不是想要夸耀虚妄。您所启奏的，实在不是朕的本意。突厥不了解山川形势，怎能担任报管的候正；陈叔宝整日昏醉不醒，怎能堪任驱使！”元谐闻听后，哑口无言地下去了。随后，晋封杨素为越公，任命他的儿子杨玄惑为仪同三司，另一个儿子杨玄奖被任命为清河鄄公，赏赐给他们布帛上万段，粟米万石。
随后，隋文帝派人将陈国灭亡的消息告诉给在京的陈国使臣许善心，许善心闻讯后于西阶之下，身穿丧服，放声痛哭。在草垫上面向东方默坐三天，寄屯信向陈后主表示慰问。第二天，隋文帝诏令许善心回到客馆，任命他为隋王朝散骑常侍，并赐给一套农服。许善心大哭以尽表哀痛之心，然后入房更换衣服，出来后面北而立，垂泪而接受隋文帝的诏令。过了一日，许善心朝见隋文帝，伏泣于殿下，悲哀得不能站立起来。隋文帝回顾左右，对侍臣们说：“我平定陈国。获得这样一位人才，既然能怀念自己旧日的君主，自然也就是我的忠臣了。”敕令许善心以通直散骑常侍的官职到门下省任职。
在蕲州的王世积，听说陈朝已亡，便将此消息告谕江南诸郡。陈江州司马听到这个消息后弃城逃跑，许多郡太守都到王世积处请降。至此，陈朝的长江防线被隋军全部突破，灭陈战役进入消灭陈朝境内残余力量的阶段。杨素与杨俊合军后，派大将庞晖南征至湘州冷湖南长沙）。州内将士，人无斗志，准备投降。不久。隋将薛胄、刘仁恩大兵压境。薛胄大败陈正理，攻破湘州州城。隋文帝诏令派使者巡视安抚原陈国的州郡，宣布废除淮南行台省。
灭陈以后，陈后主与他的王公百官全部被进往长安。不久，杨坚举行了隆重的献俘仪式。陈后主及陈朝的王侯将相，手持图籍，由铁骑押送至太庙。杨坚坐在广阳门楼之上，命陈叔宝及太子及诸王28人和百官200多人跪于门下广场上，然后派人宣诏，责备他们君臣不能相辅，以至灭亡。随后，杨坚给陈后主丰厚的赏赐，多次召见他，令其班同三品。对待陈氏宗族，杨坚虽然对他们不放心，恐怕他们闹事，但也没把他们杀掉，而是将他们分置在边州，给其田业使他们能够生活，并按季节赐给衣物。
安置陈朝宗室的同时，杨坚对陈朝的降臣也进行处置。他的基本原则是诛奸任忠，像施文庆、沈客卿、阳慧朗、徐析这类奸佞，早在建康城一攻下就被杨广处死。陈朝降臣到长安后，杨坚认为孔范奸佞谄惑，王瑾刻薄贪鄙、忌才害能，王仪候意承颜、倾巧侧媚，沈瑾险惨苛酷、发言邪谄，因此将他们定为四罪人，流放边远地区。
隋文帝任命原陈尚书令江总为上开府仪同三司；任命原陈尚书仆射袁先，原骠骑将军萧摩诃、原领军任忠等人，皆为开府仪同三司；原吏部尚书姚察被任命为秘书丞。隋文帝欣赏袁宪高尚的情操，下诏书将他列于江南群臣之首，任命他为昌州刺史。文帝又闻知原陈散骑常侍袁元友多次向陈叔宝直言正谏，提拔他为吏部的主爵侍郎。
隋文帝召见原陈国水师都督周罗睺，安慰并晓谕他，许诺给他以富贵。周罗睺回答说：“臣蒙受陈氏的优厚待遇，本朝沦亡，自己无有什么节操可言。现得以免于一死，这已是陛下的恩赐，怎敢还希望得到富贵？”
隋文帝责备原陈国的君臣，唯独没有责及陈叔文，不久，陈叔文上表自我表白说：“当初在巴州，已率先归降，请陛下知道这一情况，望得到异于他们的安置。”隋文帝对于陈叔文的这一请求，心中感到厌恶，嫌他不忠于陈国；然而出于笼络江南人士的考虑，仍然以陈叔文为开府仪同三司，任命他为宜州（治所在今湖北宜昌西北）刺史。
当初，原陈国散骑常侍韦鼎曾出访北周，遇见杨坚时认为他是个异乎寻常的人，因而对杨坚说：“您日后定当大贵，大贵后天下复为一家；12年过后，老夫将献身于您。”待至陈后主至德初年，韦鼎任大府卿，将自己的田宅全部卖掉了。毛彪对韦鼎尽卖田宅事感到不解，询问是何缘故。韦鼎回答说：“江南的王气，至此气数已尽，我与您死后当葬于长安。”待到南陈被平定，隋文帝召韦鼎兰长安，以他为上仪同三司。
开皇九年（公元589年）三月，隋文帝三路平陈大军的军事行动已胜利结束，南陈30州、100郡、400县全部并入隋王朝的版图。隋文帝谓令将陈朝宫室全部夷为平地，开垦耕种，改在石头城（今南京市清凉山）设置蒋州。晋王杨广奉命班师回长安，留王韶镇守石头城，委任他处理善后事宜。至此，隋王朝圆满地实现了中国南北经由几百来年的分裂后的重归统一。