杨坚在清除北周皇族的时候，地方上暴发了叛乱。首先举起反旗的是相州总管尉迟迥。
尉迟迥是宇文泰的外甥，因此大受重用，在西魏大统十五年（549年）时已升任尚书左仆射，翌年拜大将军。废帝二年（553年），他又趁梁朝内乱之机，率大军入川，攻克益州（今四川省成都市）。自古以来，关中地区强大的关键在于获得巴蜀为依托。尉迟迥的巨大胜利，既使得关中政权转弱为强，为最终统一中原奠定了基础，又给自己带来了巨大的权力和声望。宣帝时，尉迟迥任四辅之首的大前疑，后来又转任相州总管，出镇山东，不论从军功声望还是年龄资历，他都远在杨坚之上，所以对杨坚的辅政愤愤不平。
况且这时京里传来消息，杨坚担心尉迟迥作乱，已经在五月二十七日，让朝廷下令派韦孝宽前来接替他的相州总管职务；更不能忍受的，是杨坚派来传旨的使者破六韩裒竟然秘密传书给相州总管府长电晋昶，要他做内应。尉迟迥得知后，马上处斩了破六韩裒和晋昶两人，于六月十日召集文武士庶，登城北楼，慷慨誓师道：杨坚以凡庸之才，藉后父之势，挟幼主而夸天下，威福自己，赏罚无章，不臣之还，暴于行路。吾居将相，与国舅甥，同休共戚，义由一体。先帝处吾于此，本欲寄以安危。争欲与卿等纠合义勇，匡国庇主，进可以享荣名，退可以终臣节。卿等以为何如？山东地区刚被北周征服不久，人心尚未完全归服，不少图谋变天的人混进北周队伍里，为尉迟迥所安抚任用，充斥于各个机构之中，他们看到尉迟迥振臂高呼，仿佛找到东山再起的机会，纷纷响应。尉迟迥统辖的相、卫（今河南省淇县）、黎（今河南省浚县东北）、沼（今河北省永年县东南）、叹（今河北省清河县西北）、赵（今河北省隆尧县东）、冀（今河北省冀州市）、沧（今河北省盐山县西南）、瀛等州自不待言，其侄儿青州总管尉迟勤管辖的青、齐（今山东省济南市）、胶（今山东省胶州市）、光（今山东省莱州市）、莒（今山东省沂水县）等州也起兵响应。
七月，反叛军队的规模越来越大，荥州（今河南省荥阳市西北）刺史邵国公宇文胄、申州（河南省信阳市）刺史李惠、楚州（今江并省宿迁市东南）刺史费也利进、东潼州（今安徽省泗县）刺史曹孝达，各据本州，徐州总管司录席毗罗据兖州（今山东省兖州市）、前东平郡守毕义绪据兰陵（今山东省枣庄市东南峄城镇西）响应尉迟迥。一时间，北起河北冀州，南至安徽泅县，广袤千里的山东地区都举起了反旗。而且，事态还在进一步恶化。封疆大臣中又有些人在观望动摇中走上与中央对抗的道路。七月二十五日，郧州（今湖北省安陆市）总管司马消难以其管辖之九州八镇叛周降陈；八月七日，益州总管王谦亦据其管辖的十八州起兵；同时，豫州（今河南省汝南县）、襄州和剂州“三总管内诸蛮，各率种落反，焚烧村驿攻乱郡县。”
司马消难原是北齐勋贵，父亲司马子如为北齐佐命功臣，曾任尚书令，官拜驸马都尉、光禄卿，出镇北豫州（今河南省荥阳市西北汜水镇）。齐文宣帝末年，司马消难受到怀疑。于是他抢先与北周勾结，举州降附。周宣帝纳其女为静帝皇后，司马消难也荣升大后丞，不久，以外戚出镇郧州。
王谦是北周功臣王雄之子，为人恭谨，没有什么才能，只因为承袭父爵而身居重位，世受朝恩，对北周政权深有感情。杨坚辅政，王谦举棋不定，为了个人利益，他也曾派部下奉表入京，表示服从。另一方面，他又对自己不忠于周皇室的行为而羞愧自责。因此，当其使者自京城回来告诉他中央的形势后，他最终狠下决心，“以世受国恩，将图匡复，遂举兵”。
尉迟迥、司马消难和王谦以匡复皇室为号召，三方俱起，表面上声势极为浩大，实则他们之间各有打算。尉迟迥一起兵，就“北结高宝宁以通突厥，南连陈人，许割江、淮之地”。司马消难更是毫无忠诚廉耻之心的反复小人，起兵后“使其子泳质于陈以求援”。他们为了达到目的，不惜出卖本朝利益，勾结外敌，显然没有济时拯世的政治目标，而是一帮争权夺利之徒，这种乌合之众根本不可能团结一致。起兵之后，三方各自为战，杨坚各个击破。
当时，东北重镇幽州总管府，辖幽定七州六镇，总管于翼支持杨坚，阻断了尉迟迥与边境少数民族的联系，直拊其背，使之大有后顾之忧；号称“东南襟带”的徐州（今江苏省徐州市）总管源雄拒绝尉迟迥的招诱，出兵讨平毕义绪、席毗和曹孝达，击退南陈大军的进攻，粉碎了尉迟迥与南陈合势的企图；亳州（今安徽省亳州市）总管贺若谊“西遏司马消难，东拒尉迥，申州刺史李慧（惠）反，谊讨之”，分隔了尉迟迥和司马消难两大叛军；利州（今四川省广元市）总管豆卢勋死守本州，为大军入蜀敞开门道。这样，各地的反叛势力被分割开来，形不成气候，难以对中央政权构成致命威胁，给了杨坚宝贵的时间，得以调兵遣将，部署反击。
六月十日，朝廷下达了以徐州总管韦孝宽为行军元帅，讨伐尉迟迥的命令；六月二十六日，任命老将粱睿为益州总管，取代王谦，因王谦抗命而改任行军元帅讨之；七月十六日，命令杨素出讨宇文胄；二十五日，以王谊为行军元帅，讨伐司马消难。又以韦世康为绛州（今山西省闻喜县东北）刺史，确保关中安全。在各路讨伐大军中，韦孝宽所统帅的是主力部队，集中了梁十彦、元谐、宇文忻、宇文述、崔弘度、杨素和李询等宿将精英。
韦孝宽是北周最杰出的将领，文韬武略，料敌如神。大统十二年（546年），高欢倾巢出动，企图一举平定关中，大军在战略要地玉壁（今山西省稷山县西南），被守将韦孝宽所阻。高欢连营数十里，昼夜猛攻六十余日，死伤过半，不得已而退兵，高欢因此遗恨而死；后来，韦孝宽又给朝廷上了平齐三策，周武帝据此统一了中原，韦孝宽也名扬四海。所以，尉迟迥叛起，杨坚立刻就想到任用军功资历均与尉迟迥相当的韦孝宽来。在被任为行军元帅之前的五月底，韦孝宽接受朝廷的任命，动身前往相州欲要接替尉迟迥的总管职务。
韦孝宽到达朝歌（今河北淇县），尉迟迥派部下大都督贺兰贵带着书信前往迎候。韦孝宽留下贺兰贵，在和他进行谈话时察言观色，怀疑情况有所变化，便声称有病，故意地慢慢前行；并派人到相州去寻医求药，秘密地观察动静。韦孝宽的侄子韦艺，时任魏郡（冶所在今河南安阳市）太守，尉迟迥派他去迎接孝宽。孝宽向侄儿询问尉迟迥的所作所为，由于韦艺已间尉迟迥结成同党，因而不说实话。孝宽为此而大怒，准备杀掉韦艺。韦艺因为恐惧，便把尉迟迥的阴谋全部如实相告。韦孝宽带着韦艺向长安方向行走，每到一处驿站，便将其驿马驱散，并告诉驿站官员，说什么“蜀公尉迟迥将要到来，要赶快准备酒食。”尉送迥当时派遣仪同大将宰梁子康带领数百名骑兵追赶韦孝宽，追兵每到一处驿站，全都摆上丰盛的菜肴，又找不到驿马，因而便迟延下来，未能及时追赶。韦孝宽和韦艺因此而幸免于难。
韦孝宽一路奔回洛阳北边的河阳（今河南省孟县西北），洛阳原是北魏首都，周平齐后，宣帝于此设置东京六府，统领北齐旧境，并大集山东诸州兵丁，起洛阳宫，委任窦炽为营作大监，总领其事。窦炽先世为匈奴部落大人，“累世仕魏，皆至大官”，他本人也因为护卫魏孝武帝入关而成为关中政权的创业元勋，其侄儿窦荣定是杨坚的姐夫，故与杨家关系颇深。尉迟迥起兵，窦炽正在洛阳，他当即入居金墉城，“简练关中军士得数百人，与洛州刺史、平凉公元亨同心固守，仍权行洛州镇事”。而主掌东京六府的长孙平和赵芬也效忠于杨坚，这样，在索有威望的窦炽主持下，洛阳暂时平安。
然而，此时的河阳的八百守军都是关东鲜卑人，其家属都在相州尉迟迥掌握之下，因此，他们密谋起来策应尉迟迥。河阳若失，则洛阳难保，而韦孝宽手中无兵，形势十分危急。情急之中，他想出一条计策伪造东京官府文件，让守军分别到洛阳领赏，到了洛阳，再将他们扣押下来，稳固地控制住洛阳，确保了平叛的前进基地。
后杨坚调拨关中地区的军队，以韦孝宽为行军元帅，郑公粱士彦、乐安公元谐、化政公宇文忻、濮阳公宇文述、武乡公崔弘度、清河公杨豢、陇西公李询等人，都被任命为行军总管，前往讨伐尉迟迥。然而，这些将领原来和杨坚不相上下，现在地位发生了根本变化，心中难免不服，更不知道杨坚将来准备如何对待他们。他们有意徘徊不前，等待观望。