开皇初年，朝廷就曾讨论过伐陈，隋文帝任命元寿为专使，前往淮浦监修船舰，显然是为渡江伐陈预作准备。到开皇四年（584年）元寿改督漕渠工役才结束。当时，不少人向文帝建议伐陈，老将梁睿在平定益州王谦之乱后，就向文帝献策，请缨平陈。文帝回信婉拒，指出：“朕初临天下，政道未洽，恐先穷武事，未为尽善。……王者体大，义存遵养，虽陈国来朝，未尽藩节，如公大略，诚须责罪。尚欲且缓其诛，宜知此意。”
文帝暂时搁置伐陈请求是有充分道理的，隋朝刚刚立国，人心不安，社会未稳，在军事上，渡江水战又非北军所长，难有胜算。再者，隋朝当时四面受敌，更是不可轻易发动战事。
隋朝之前从未断绝与陈朝的关系，陈宣帝病逝，隋朝随即以“礼不伐丧”宣布停止军事行动，而后，又于六月派遣专使入陈吊唁，大大缓和了与陈朝的关系，为北御突厥争取到平稳安定的南面形势。
早在开皇元年（581年）9月，正值突厥进犯，文帝曾经仓促地发动过一次伐陈战役，高颎在前线负责节制诸军。隋军在湖北一带取得了一些战果，但为了保存实力对付突厥，就匆忙撤军了。开皇三年（583年）四月，文帝再次派遣兼散骑常侍薛舒、兼通直散骑常侍王劭到陈朝。隋使频频而至，逼使陈后主不得不于十一月派遣散骑常侍周坟、通直散骑常侍袁彦前来回聘。此后，双方每年互派使节的形式固定了下来，文帝完全取得南北交往的主动权，巧妙地将陈朝纳入隋朝精心制定的长期战略之中。同时，“陈郢州城主张子讥遣使请降，上以和好，不纳”；翌年八月，“陈将夏侯苗请降，上以通和，不纳”，一再拒绝陈将归降，以示隋朝对保持友好关系的高度重视与坚定立场。开皇四年（584年），文帝派遣名儒薛遭衡出使陈朝，临行前特意叮嘱遭；“朕且含养，置之度外，勿以言辞相折，识朕意焉。”在致陈朝国书中，文帝自称姓名顿。首，卑辞厚礼，造成陈后主的错觉，不由得自大起来，回书竟称；“想彼统内如宜，此宇宙清泰”。文帝还将陈朝的回书传示朝臣，群情激愤，大收鼓舞士气之效。开皇五年（585年），陈将湛文彻进攻和州。对此，隋军只是坚守拒敌，并不主动出击，而且，每次捕获陈朝间谍，都厚给衣马，以礼遣还，造成陈军误解，浑然不把隋军当回事，麻痹轻敌。
文帝的一系列精心安排，营造了隋陈友好的太平表象，其实，在内部，文帝无时不在考虑平陈方案，为此，他积极向臣下密询计策。
高颎计谋见用，杨素、贺若弼、崔仲方等人亦争相献策，虢州刺史崔仲方知道文帝迷信天命，便先引经据典阐述一通陈朝当灭的五行运历道理，然后笔锋一转，提出对陈用兵的军事部署道：“争唯频武昌已下，蕲、和、滁、方、吴、海等州更帖精兵，密营渡计。益、信、裹、荆、基、郢等州速造舟楫，多张形势，为水战之具。蜀、汉二江，是其上流，水路冲要，必争之所。贼虽于流头、荆门、延州、公安、巴陵、隐矶、夏首、蕲口、盆城置船，然终聚汉口、峡口，以水战大决。若贼必以上流有军，令精兵赴援者，下流诸将即须择便横渡。如拥众自卫，上江水军鼓行眦前。虽恃九江五湖之险，非德无以为固，徒有三吴、百越之再，无恩不能自立。”崔仲方的方案，充分利用隋朝据有长江上游的有利条件，以上游水军牵制敌军，而在下游突破陈朝江防，避实捣虚，直取建康。
开皇五年（585年）后梁发生的一系列变故，加速了中国统一的进程。这年五月，后梁明帝萧岿去世，其子萧琮即位。萧岿依附北周，不为朝廷所重，到隋文帝登基，才大受礼遇，故颇怀感激。萧岿一死，嗣胤年幼，叔父权重，其动向令人担忧，故文帝特地下玺书给萧琮，以长辈的口吻颇加开导：“负荷堂构，其事甚重，虽穷忧劳，常须自力。辑谐内外，亲任才良，聿遵世业，是所望也。彼之疆守，咫尺陈人，水潦之时，特宜警备。陈氏比日虽复朝聘相寻，疆埸之间犹未清肃，唯当恃我必不可干，勿得轻人而不设备。朕与梁国，积世相知，重以亲姻，情义弥厚。江陵之地，朝寄非轻，为国为民，深宜抑割，恒加饘粥，以礼自存。”
萧琮上台后，大概是为了表示对隋朝的忠诚，轻率地采取军事行动，派遣大将军戚听统率水军攻打陈朝公安县城（今湖北省公安县西北），遭到挫折。其实，这时候，梁朝内部亲陈势力已经抬头，大将军许世武秘密召引陈荆州刺史陈慧纪，阴谋泄露，被萧琮诛杀。在这种不稳的形势下，文帝采取果断措施，征召萧琮的叔父萧岑入朝，拜为大将军，封怀义公，留在京城，不令归国。同时，复置江陵总管，加强对后粱的监视，控制局面。
开皇七年（587年），隋朝内外皆安，一统中国的条件趋于成熟。四月间，文帝于扬州开山阳滨，已经显露对陈用兵的意图。到了八月，文帝决定彻底解决后梁问题，召萧琮入朝，同时，派遣以严酷出名的崔弘度为江陵总管，率军进驻江陵。诏令颁下，梁国震动，江陵父老送萧琮入京，无不相对悲泣道；“吾君其不反矣！”萧琮的叔父萧岩及弟弟萧碱等害怕遭崔弘度掩袭，抢先行动，招引陈荆州刺史陈慧纪率兵进至江陵城下，九月十九日，驱虏文武百姓南奔陈朝。文帝闻讯，下令废除梁国，并派宰相高颎赶往江陵。此时，文帝接到陈朝出兵接应萧岩等叛逃的奏报后，下令大规模制造战舰，进入紧张的战备状态。
开皇八年（588年），文帝派驻扎在庐州的韩擒虎和驻扎在吴州的贺若弼两支精良的部队作为主力。韩、贺二人率领大军驻扎长江中下游，直接威胁到陈朝的首都建康，而陈朝的主力是萧摩诃和任忠的部队。部署完毕，隋朝开始进行战前的演练。贺若弼向文帝献上了《取陈十策》。文帝欣然接受。隋文帝采纳并施行高颎的策略，疲敝和耗损南方的军事和经济实力，果然奏效，南陈从此开始逐步陷入困境。
隋文帝在实施高颎的疲敝和消耗南方实力的策略同时，上柱国、御史大夫杨素，吴州总管贺若弼以及光州刺史高励、虢州刺史崔仲方等人，向隋文帝献平定江南的策略。崔仲方等人在上书中说：“当今只须在武昌（今湖北噪鄂城）以下，于蕲州（治所在今湖北蕲春）、和州（治所在令安徽和县）、滁州（治所在今安徽滁县）、方州（治所在今江苏六台）、吴州（治所在今江苏扬州市）等地再增加精兵，秘密地经营谋划；同时在益州（治所在今四川成都市）、信州（治所在今湖北宜昌市西）、簌州（治所在今湖北襄樊市）、荆州（治所在今湖北江陵）、基州（治所在今湖北钟祥西南）、郢州（治所在今湖北武汉市武昌）等地从速建造战船，大力张扬声势，加嚷制造水战的用具。蜀江和汉水是长江的上流，位于水陆交通的要冲，是兵家的必争之地。敌军虽然在流头、荆门、延州、公安、巴陵、蕲口、湓城配了许多战船，但终归要聚集在汉口（今湖北武汉市汝口）、峡口（长江三峡东端，今湖北宜昌市附近）两地，用水战来同我方进行大决战。如果敌人断定我军在上游驻有重兵，令精兵前来增援，那么，我军在长江下游便可以选择时机横渡长江；如果敌人拥兵不动来进行自卫，那么，我军在上游便可以擂鼓沿江而下，急速向下游进击。陈国虽然可以自恃九江五湖的险阻，可是陈后主不施德政，这些险阻也不会牢固；徒然有三吴、百越的军队，不施恩德于臣民，也就无法自立于当今之世了。”隋文帝认为崔仲方等人的平陈策略甚为可取，于是任命崔伸方为基州刺史，令他于汉水中游为筹划南下伐陈做好准备。
开皇八年（588年）3月19日，文帝下诏伐陈。10月19日，文帝离开京城到同州，回到他幼年的故居，瞻仰先父遗迹，四天后才起身东巡。这次回省，隋文帝实际上要在此下决心，作出最后的战略决断。在内心犹豫难决的时候，他想起了因病不能随从的内史令李德林，连忙下敕：“伐陈事意，宜自随也。”追召李德林前来帮助决断。恰好高颎有事要回京城，文帝嘱咐他前去探望李德林，交代说：“德林若患未堪行，宜自至宅取其方略。”李德林抱病应召，提出自己的伐陈设想，大受重视，文帝专门派人将其方略送给晋王杨广，让其参照制定行动计划。在巡视归途，文帝以马鞭南指，对李德林许诺道：“待平陈迄，会以七宝装严公，使自山东无及之者。”作出最后决断之后，文帝如释重负。11月23日，文帝再回到冯翊（今陕西省大荔县），亲祠故社。伐陈一事，关系到整个国家的前途命运。前秦苻坚率百万雄师南下长江，企图一统江山，结果国破身死。从此以后，尽管北强南弱，却没有一位君主敢再轻举妄动。此时，文帝决心虽下，仍费斟酌。
隋军大举南征出发前，隋文帝在太庙举行盛大仪式，命令晋王杨广、秦王杨俊、清河公杨素三人分别为三路行军元帅。命晋王杨广从六合（今江苏六合）出兵，秦王杨俊从襄州（令湖北襄樊市）出兵，清河公杨素从永安（今四川奉节）出兵；又命令荆州刺史刘仁恩从江陵（今湖北江陵）出兵，蕲州刺史王世积从蕲春（今湖北蕲春）出兵，庐州总管韩擒虎从庐江（今安徽庐江）出兵，吴州总管贺若弼从广陵（今江苏扬州）出兵，青州总管燕荣从东海（今江苏连云港市东南）出兵。远征南陈的大军全部接受晋王杨广的节制调度。伐陈大军，东起大海，西至巴蜀，在漫长的战线上，越旗蔽空，战船满江，横亘数千余里。文帝任命尚书左仆射高颎为晋王元帅长史，尚书右仆射王韶为司马，军机大事都取决于高、王二人，由二人处置调度。无有任何阻滞和迟误。11月，隋文帝亲自为南征将士们饯行。12月，第一路行军元帅晋王杨广率大军到达长江北岸。第二路行军元帅、秦王杨俊督率各军驻扎在汉口，节制调度长江上游的各军。
第三路行军元帅、清河公杨素率水军战舰，顺流直下三峡，进军车流头滩（今湖北茅坪境）。陈军将领戚昕，率青龙战舰百余艘、驻军数千人，守狼尾滩以遏制隋军的进路。狼尾滩地势险峻，隋将难以攻取。这时，杨素对将士们说：“胜负大计，在此一举。”杨素决定在夜间发起袭击，亲自率领黄龙战舰数千艘悄悄地顺流而下，派开府仪同三司王长袭率领步兵从南岸袭击另一座营寨；令大将军刘仁恩率骑兵、步兵直扑北岸的白沙，在天亮以前赶到，对陈军发起攻击。这一战，戚昕败走，部众全部被俘虏，杨素初战告捷后。