隋文帝实现了南北的统一，然而，就在第二年，陈朝故境发生了大规模的叛乱。这次的叛乱的起因就是隋文帝的一封诏书。诏书中有这样一段话：丧乱已来，缅将十载，君无君德，臣失臣道，父有不慈，子有石孝，兄弟之情或薄，夫妇之义或违，长幼失序，尊卑错乱。朕为商王，志存爱养，时有臻道，不敢宁息。内外职位，遐迩黎人，家家旧修，人人克念，使不轨不法，荡然俱尽。兵可立威，不可不戢，刑可由化，不可专行。禁卫九重之余，镇守四方之外，戎旅军器，皆宜停罢。
这就是杨坚所行“太平之法”的主要内容。这些内容主要包括两个方面：一个是用君臣、父子、兄弟、夫妇、长幼、尊卑这套儒家伦理道德观念规范人们的行为；另一个是去私人之刑，除私人之兵，削弱地方豪强势力，加强中央集权。这就触动了江南豪强的势力。杨坚诏书中要求戢私兵、去私刑，就是针对南方地方豪强的。
开皇十年（590年）年，婺州（今浙江省金华市）汪文进、越州（今浙江省绍兴市）高智慧和苏州沈玄憎等首先举起反旗，叛乱所及，包括婺州（治今浙江金华）、越州（治今浙江绍兴）、苏州（治今江苏吴县）、蒋山（今江苏南京东北的钟山）、饶州（治今江西渡阳）、温州（治今浙江温州）、泉州（治今福建福州）、杭州（治今浙江伉州）、交州（治今广东广州）等地。一场声势浩大的反抗运动爆发了。这场反叛席卷南方，他们“攻陷州县。陈之故境，大抵皆反，大者有众数万，小者数干，共相影响，执县令，或抽其肠，或脔其肉食之，曰：更能使依诵《五教》邪！”“表中列举的只是较有势力与影响而能见诸史册者。其中，最主要的有汪文进、高智慧和沈玄憎，他们都自称天子，署置百官，而实力较小者则依附于他们，自称大都督等，尤其痛恨隋朝派来的地方官吏和强制灌输的《五教》。据此看来，他们起兵的目的不是要复辟陈朝。陈朝在江南之不得人心，在韩擒虎渡江时”江南父老索闻其威信，束谒军门，昼夜不绝的情况，得到充分的表现。所以，如此众多民众参加的反抗，不能视为对国家统一的反动，而是对隋朝统治的不满。
消息传来，隋文帝冷静地判断形势，丝毫不敢疏忽大意。11月，他派遣刚回京升任内史令的杨素率大军出征。杨素治军极严，赏罚分明，每逢战阵，令士兵出击，不能克敌而退还者尽加杀戮，故战无不胜。派遣杨素前往江南镇压，并为他配属崔弘度、史万岁等骁将。杨素率水军出杨子津，克京口，破晋陵，发动强大的攻势。刚开始，战事进展比较顺利，经过几场苦战，击溃大股叛军的抵抗，扭转了江南的局势。但是，南方反叛的区域很广，响应者众多，所以，杨素的军队不久就像进入泥潭一般，必须与敌军遂个进行争夺，他亲自率领的部队在击破温州沈孝彻后，挺进天台，“逐捕遗逸寇，前后百余战”；上述其部将史万岁亦是“前后七百余战，转斗千余里”，艰难地向南推进。
在江浙地区，隋军固然取得进展。但是，南方的情况却相当糟糕。泉州王国庆围攻泉州百余日，杀刺史刘弘，占领州城。番禺夷人王仲宣聚众造反，岭南首领多响应之，遂引兵进攻广州，广州总管韦洗勒兵出战，为流矢所中，战死军中。针对这种情况，文帝又作出了一项具有战略意义的决定，任命并州总管晋王广率师增援江南，仍任扬州总管，调秦王俊回任并州总管。晋王杨广曾是平陈统帅，又娶后梁公主为妃，与江南关系颇深。这些缘故，晋王广喜爱江南文化。派他回到江南，表明文帝在这期间对其江南政策有所反思，并开始进行战略性调整，亦即注意统治江南的策略，修正以往的高压政策，采取一些怀柔手段。
晋王广到达江都之后，一方面加强军事进攻，命令行军总管郭衍率精兵打入屯京口，与叛军接战，大破之，乘胜进“讨东阳、永嘉、宣城、黟、歙诸洞，尽平之。”另一方面则招降纳叛，进行招安。陆知命是吴郡富春人，陈灭后，废黜在家，“晋王广镇江都，以其三吴之望，召令讽谕反者。知命说下贼十七城，得其渠帅陈正绪、萧思行等三日余人。”
江南的反抗大约坚持到开皇十二年（592年）年中，至少持续了一年半以上。佛教文献记载：“开皇十一年，江南叛反，王师临吊，乃拒官军，驸擞竞驰，兵声逾盛。时元帅杨素整阵南驱，寻便瓦散，俘虏诛剪三十余万”。
当时，江南人口约为六十万户，竟有三十余万人参加这场反抗，不难想象当年战事之惨烈。南方社会如此广泛参加的反隋斗争，不可能完全被军事力量所镇压。实际上，杨素回京后，南方的反抗斗争仍时起时伏地进行着。开皇十二年（592年），刘权被任命为苏州刺史，“于时江南初平，物情尚扰，权抚以恩信，甚得民和”；韦冲受命检棱括州事时，还遇上陶子定和罗慧方聚众围攻婺州永康、乌程诸县，被他率部镇压下去。所以，杨素回京仅仅表明大规模的军事镇压告一段落。此后，江南大局由晋王广主持，绥抚政策占了上风。
对于江南豪族的反抗，杨坚也深知，平定地方豪强势力是统一南北的必要条件。杨坚派出大军，以杨素为行军总管讨伐江南叛乱。杨素率大军破京口，击晋陵，在浙江大破高智慧叛军，又在温州平定沈孝彻，一直打到福建，将高智慧擒住，斩于泉州，迅速平定了江南叛乱。江南发生的叛乱，是对隋朝统一南北的考验。杨坚派兵迅速地平定了这次叛乱。而隋朝统一南北趋势也是不可逆转。
隋文帝统一了南北，平定叛乱之后，国家得到了稳定。此时的隋文帝为了让边疆更加稳固，对远邦采取了安抚的政策。这其中主要有高句丽、百济、新罗等国家。
北周时期，高句丽国王汤曾派使臣朝贡，周武帝宇文邕拜汤为上开府、辽东郡公、辽东王。隋文帝即位后，高句丽王汤派使臣至长安，隋文帝进授汤为大将军，改封高句丽王。据《隋书·东夷·高句丽传》记载，高句丽国东西2000里，南北千余里，国都平壤，亦曰长安城。城东西6里，随山而筑，南临贝水（今朝鲜大国江）。又有国内城、汉城，与平壤并列为都会，国人称为“二京”。高句丽与南方的邻国新罗，经常相互侵夺，战争不息。
开皇初年，高句丽王频频派使者入朝。待到平定陈朝之后，隋朝国势日强，高句丽王大为恐惧，在国内整治兵器军械，积蓄粮草，作据险守城的准备。开皇十七年（公元597年），隋文帝闻知高句丽王“治兵积谷，为守拒之策”。特赐给高句丽王长篇玺书一封：朕受天命，爱育率土，委王海隅，宣扬朝化，欲使圆首方足，各遂其心。王每遣使人，岁常朝贡，虽称籓附，诚节未尽。王既人臣，须同朕德，而乃驱逼靺鞨，固禁契丹。诸籓顿颡，为我臣妾，忿善人之慕义，何毒害之情深乎？太府工人，其数不少，王必须之，自可闻奏。昔年潜行财货，利动小人，私将弩手，逃窜下国。岂非修理兵器，意欲不臧，恐有外闻，故为盗窃？时命使者，抚尉王籓，本欲问彼人情，教彼政术。王乃坐之空馆，严加防守，使其闭目塞耳，永无闻见。有何阴恶，弗欲人知，禁制官司，畏其访察？又数遣马骑，杀害边人，屡驰奸谋，动作邪说，心在不宾。朕于苍生，悉如赤子，赐王土宇，授王官爵，深恩殊泽，彰著遐迩。王专怀不信，恒自猜疑，常遣使人，密觇消息，纯臣之义，岂若是也？盖当由朕训导不明，王之愆违，一已宽恕，今日以后，必须改革。守籓臣之节，奉朝正之典，自化尔籓，勿忤他国，则长享富贵，实称朕心。彼之一方，虽地狭人少，然普天之下，皆为朕臣。今若黜王，不可虚置，终须更选官属，就彼安抚。王若洒心易行，率由宪章，即是朕之良臣，何劳别遣才彦也？昔帝王作法，仁信为先，有善必赏，有恶必罚，四海之内，具闻朕旨。王若无罪，朕忽加兵，自余籓国，谓朕何也！王必虚心，纳朕此意，慎勿疑惑，更怀异图。往者陈叔宝代在江阴，残害人庶，惊动我烽候，抄掠我边境。朕前后诫敕，经历十年，彼则恃长江之外，聚一隅之众，昏狂骄傲，不从朕言。故命将出师，除彼凶逆，来往不盈旬月，兵骑不过数千，历代逋寇，一朝清荡，遐迩乂安，人神胥悦。闻王叹恨，独致悲伤，黜陟幽明，有司是职，罪王不为陈灭，赏王不为陈存，乐祸好乱，何为尔也？王谓辽水之广，何如长江？高丽之人，多少陈国？朕若不存含育，责王前愆，命一将军，何待多力！殷勤晓示，许王自新耳。宜得朕怀，自求多福。
事实上，隋文帝在平定南陈后，国势日强，对于高句丽王的“治兵积谷”是不能坐视的。他的大臣们也有向高句丽用兵的意图，即所谓“开皇之末，国家殷盛，朝野皆以辽东为意”。不过，隋文帝对于高句丽，如同他对待突厥、吐谷浑一样，不主张轻易用兵，更不肯首先用兵，而是采用晓谕和威慑的政策，谋求边境上的安宁。
高句丽王汤得书后诚惶诚恐，将要奉表陈述并向隋文帝谢罪，不久患病而死。其子婴阳王元继位，派人向隋告哀，文帝照例遣使册封婴阳王为上开府仪同三司，袭爵辽东郡公。婴阳王赶忙恢复朝贡，于开皇十一年（591年）正月遣使朝贺，奉表谢恩，另取措施缓和与隋朝的紧张关系。此后，在开皇十二年（592年）到开皇十七年（597年）都遣使朝贡，双方关系表面上趋于正常。其实，双方的交往无非是缓兵之计。
开皇十八年（598年），高句丽王元率领万余名骑兵入寇辽西，被营州总管韦冲击退。隋文帝闻知此事后大怒，任命汉王杨谅为元帅，总领水陆兵马进军讨伐，下诏令废除高句丽王元的爵位。当时，由于粮草供给不继，六军给养缺乏，隋军师出山海关，又遇到疾疫，士气不振。待到隋军进驻辽河，高句丽王元也感到恐慌惊惧，派使臣向隋文帝谢罪。于是，隋文帝下令罢兵，高句丽王元也每年派使臣向隋天子朝贡。
百济国的祖先，出自高句丽国，汉代时已成为朝鲜半岛上的强国之一。隋开皇初年，百济王余昌派使臣向隋贡献特产，隋文帝拜余昌为上开府、带方郡公、百济王。百济国东西450里，南北900余里，南接新罗，北距高句丽，其都城日居拔城。官分文武，有16品，居民为新罗人、百济人、汉人和日本人。“俗尚骑射，读书史，能吏事，亦知医药、蓍龟、占相之术”。“有僧尼，多寺塔”，行南朝宋的《元嘉历》法，以建寅月为岁首。国中大姓有8族。“婚娶之礼。略同于华，丧制如高句丽。”可见，百济国的文化较为发达，受中国影响较大。
百济对隋朝平陈的态度和高句丽颇不相同。当时，有一艘隋朝的战船飘流到百济，百济威德王昌抓住机会，资送甚厚，并遣使入贺平陈。文帝大喜，下诏给百济使者，褒奖道：百济王既闻平陈，远令奉表，往复至难，若逢风浪，便致伤损。百济王心迹淳至，朕已委知。相去虽远，事同言面，何必数遣使来相体悉。自今后，不颓年别人贡，朕亦不遣使往，王宜知之。
当时，在朝鲜半岛，百济与高句丽世代为仇，屡相攻伐。但其军力不及高句丽，故经常处于守势，勉力支撑。为此，百济屡次遣使到中国来控诉高句丽，揭露其称霸东亚的野心，希望获得支持。开皇末，百济王还遣使请求充当向导，共同讨伐高句丽。于是，高句丽经常派兵阻断水陆通道，这使得隋朝与高句丽的矛盾加深了。而平陈以后内外形势的发展，都使得文帝必须正面处理东北亚政治关系。
新罗国在高句丽国东南，即西汉乐浪郡的故地。国内居民杂有汉人、高句丽人、百济人。其国王本是百济人，自海上逃入新罗，称王于新罗国。
开皇十四年（594年），新罗王金真平派使臣向隋天子贡献特产，隋文帝拜金真平为上开府、乐浪郡公、新罗王。新罗国先附庸于百济国，后来因百济征伐高句丽，高句丽人不堪忍受百济王的兵役和徭役，相继归附新罗，新罗因此而逐渐强盛。后来，新罗因袭百济附庸于迦罗国。新罗地多山险，虽然与百济嫌隙颇深，百济也无力图谋新罗。
隋朝与朝鲜半岛三周的关系，同高句丽虽然有过一次战争，但也以和平相处为主，至于同百济、新罗两国，则堪称友好关系，经济文化方面的往来日益密切。
日本在古代亦称倭国，在百济、新罗东南，水陆3000里，于大海之中依山岛而居。汉光武帝时，曾派使臣人洛阳朝见汉天子，自称大夫，接受光武帝册封。在魏晋南北朝期间，世代与中国相通。
开皇二十年（600年），倭王姓阿每，字多利思比孤，号阿辈鸡弥，派使臣至长安朝贡，隋文帝令有关部门派人考察倭国风俗。其国设有职官、法律，有兵器而无征战。其民信佛法，从百济国求得从中国传去的佛经，开始使用汉人文字，尤信巫觋。新罗，百济皆以倭国为大国，多有珍宝，因而敬畏，经常通使往来。
隋王朝时期同东南亚交往较多的国家有林邑（今越南中部）、赤土（今马六甲）、真腊（柬埔寨）、婆利（今北婆罗洲）等国。隋文帝平定南陈后，林邑派使臣向隋天子进献特产，后来朝贡断绝。平定南陈后，隋王朝境内天下平定，群臣中有人向隋文帝进言，说林邑多有奇宝。于是，隋文帝于仁寿末年，派大将军刘方为磋州道行军总管。率领钦州（治所在今广西钦州东北）刺史宁长真、硖州船所在今越南荣市）刺史李晕、开府秦雄等步骑兵万余人以及犯罪者数千人出击。林邑王率领徒众乘大象与隋军交战，刘方出师不利。刘方施用计谋，于丛林中挖掘很多深坑，上面覆盖杂草，伪装起来，然后率兵挑战。林邑王梵志率全军布阵，交战后，刘方率军佯败逃走，梵志率兵追击，兵众多陷入坑中，转相惊骇，林邑军大乱。刘方乘机纵兵反击，大败林邑军队。梵志屡战屡败，不得不弃城逃走。剂方率军入林邑都城。刘方获胜后班师回国，梵志又恢复原有的故地。经过这次战争后，林邑王梵志派使臣向隋朝谢罪，从此林邑向隋朝朝贡不断，两国的经济文化往来有了进一步的加强。
隋文帝在位期间，陆路通过西域的丝绸之路，海路由南海经马六甲海峡、印度洋，同中亚、东南亚、西亚和欧洲的许多国家，都有商业和文化往来。
在对待外邦的政策上，韦冲曾对隋文帝说：“夷狄之性，易被反复，皆由牧宰不称之所致，臣请以理绥静，可不劳兵斫定。”（《资治通鉴》）隋文帝深以为然。隋丈帝在位25年的实践表明，他在处理同周边民旗的关系上，基本上执行了“以理绥静”的既定方针，这也使得隋朝得到了一定的稳。