周武帝（宇文泰子）即位后，杨坚调任左小宫伯，出任隋州刺史，进位大将军，后征召还京。母亲吕氏寝疾，杨坚昼夜守护，不离左右，被世人称为“纯孝”。当时，宇文护执掌朝政，十分嫉恨杨坚，多次想加害于他，幸亏大将军侯伏、侯寿等人从中维护，始得免于灾难。
杨坚担任小宫伯，是宇文护所作的安排。刚刚发生过孝闵帝企图夺回政权的教训，宇文护更需要在官内安插亲信，以监视宫中的活动。如果能把元勋子弟杨坚拉拢过来，可谓是一箭双雕。对于宇文护的主动接近，杨坚有点不知所措，他赶忙回家和父亲商量。杨忠不仅在战场上是一员虎将，在政治上也很有远见，他清醒地看到，宇文护固然大权在握，但他目无君主，和元老们形同水火，与其皇室的斗争，前途也不容乐观，支持他，将来会被斥为逆臣，反对他，则立招横祸，最好的办法就是与之若即若离，超脱于宇文家族明争暗斗的漩涡之外。因此，杨忠冷静地对儿子说：“两姑之间难为妇，汝其勿往！”就是说，在两个婆婆之间是很难作媳妇的。杨坚对父亲的劝告心领神会，拒绝了宇文护的招诱。
明帝亲政，称号为皇帝，建立年号，逐步收回大权，触犯了宇文护。于是，宇文护派人毒死明帝，改立武帝宇文邕。翌年，改年号为保定元年（公元561年），“以大冢宰、晋国公护为都督中外诸军事，令五府总于天官”宇文护，实现了总揽朝政的野心。
当初，宇文泰建立府兵制度，立左右十二军，由十二大将军统率，其所统军人，均改从将军姓，企图模仿鲜卑部落兵制，以虚构的血缘关系来提高战士的归属感和战斗力。然而，这支军队虽说统属宇文泰指挥，实际上具有相当的独立性。宇文护执政，成功地收回兵权，军队的所有调发，都必须有宇文护签署的命令才能实行。至此，北周实现了向中央集权体制的转换。只是权力没有集中到皇帝手中，而是在宇文护的控制之下。如此一来，中央集权体制还是没能最终完成。因此，不管武帝如何韬光晦迹，他必将是宇文护的对手。这一点，宇文护心里清楚，所以，他扩大用人层面，在大力提拔新人和培植亲信的同时，进一步加强了对元勋集团的监视和压抑。
保定二年（公元562年），杨坚22岁，杨忠升任大司空。保定三年，北周以杨忠为元帅，率大军伐齐，大破齐军。周武帝想要以杨忠为太傅，执政宇文护因为杨忠不依附于自己，从中作梗，拜杨忠总管径、幽、灵、云、盐、显6州诸军事。
保定三年（公元563年）春正月，武帝出巡原州（今宁夏固原县），突然夜里回到长安。百官都觉得很奇怪，私下打听原因。随武帝巡行的侯莫陈崇对其亲信解释道：“吾昔闻筮者言，晋公今年不利。车驾今忽夜还，不过是晋公死耳。”预言宇文护将死，顿时就在京城里流传开来。有人告发其事，武帝便将公卿召集起来，当众责问侯莫陈崇。当晚，宇文护就派兵包围侯莫陈崇府第，逼他自杀。侯莫陈崇一死，北周初年的五大柱国已经被宇文护害死了三家。
从明帝即位（公元557年）起到武帝保定五年（公元565年）左右，杨坚整整担任了八年的宿卫官。保定元年（公元561年），随着长女杨丽华的出世，他已经不再是当年那位春风得意的少年郎了。那些得到当权者青睐的伙伴，已经建功立业，节节攀升，而他仍在起家的职位上，不仅得不到提升，而且还要时时提防宇文护的迫害。
宇文护整肃元老的时候，杨忠有意埋头于具体工作，对朝政漠不关心，以免给宇文护抓到口实。保定三年，也就是侯莫陈崇自杀的时候，杨忠自告奋勇，率领步骑一万，迂回塞北，会合突厥，突破北齐雁门防线，连克二十余城，直逼晋阳。次年正月，与北齐主力会战于城下，因突厥退出战斗，不利而还。显而易见，仅以万人之师要攻打北齐，是不现实的。杨忠积极请战，或与回避朝廷斗争有关。这次出兵虽然没有取得预期的成果，但是，在周齐关系上却是一大转折。武帝对杨忠的功勋给予很高的评价，打算封他为太傅，但是，宇文护因为杨忠不依附于已而加以阻挠。结果，杨忠非但没有获得封赏，反被外放为泾州刺史。同年，宇文护亲率大军伐齐，却只让杨忠率偏师出塞北策应，有意冷落他。
保定五年，被冷落了八年的杨坚晋升为大将军，被派到随（或作隋）州（今湖北省随州市）担任刺史，总算有了出头的机会。这年，北周为了加强对外攻势，调整了荆、襄一带的机构，把荆州、安州（今湖北省安陆市）和江陵总管隶属于襄州（今湖北省襄樊市）总管府，并以大司空卫国公宇文直出任襄州总管。据庾信《周柱国大将军拓跋俭神道碑》记载：“保定四年，治襄州，控御五十州，风行数千里。”可知北周所辖今湖北、河南一带地区，均隶属于襄州总管府，则随州应该也在其中。杨坚到随州，首先到襄州拜谒上司宇文直。宇文直是宇文护的红人，官大气盛，并没有把不甚得志的杨坚放在眼里，只是出于礼貌，派其部下庞晃回访一通。
庞晃是宇文泰元从亲信，此时随宇文直出镇襄州。他一见到杨坚，就被其卓尔不群的气质所打动，相信杨坚将来一定会大有作为，于是倾心交结，成为密友。然而，杨坚好景不长，他在随州还没坐热刺史的交椅，又被调回中央，再次路过襄州。清冷失意之际，想不到庞晃还前来接他，不由得心头一暖，便把庞晃请到官邸，盛情款待。酒酣耳热，庞晃悄悄对杨坚说道：“公相貌非常，名在图口。九五之日，幸愿不忘。”这番预言杨坚会当皇帝的话，简直是大逆不道，而杨坚竟坦然受之。时已微曙，有雄雉引颈报晓，杨坚让庞晃射雉为验，说道：“中则有贵。然富贵之日，持以为验。”庞晃弯弓持满，一箭射个正中，杨坚抚掌大笑道：“此是天意。公能感之而中也。”庞晃的这一箭，射去了杨坚心中的忧思，坚定了他上应天命的自信。欢笑之余，杨坚把身边的两个婢女送给庞晃，两人遂成盟友，密谋篡周。
回到京城，政治空气依然紧张，武帝虽然早已成年，但他鉴于两位哥哥惨死的教训，深藏不露，对宇文护尊崇有加，任其专权。而宇文护大权在握，党同伐异，杨坚更足倍受排挤，回京之后，就被晾在一边。杨坚无奈，干脆以母亲生病为由，给自己找了个台阶下来，天天在家侍奉母疾，昼夜不离左右，既躲开宇文护的锋芒，又搏得一片“纯孝”的称赞。但是，鹊起的赞誉，更引来宇文护的忌恨，好几次想对他下手加害，多亏大将军侯伏侯万寿为他说情，才得以幸免。
就在这时，外任多年的杨忠终于病倒，回到京城后不久就去世了。杨坚固然按例承袭父爵随国公，成为一家之主，但是，失去父亲这座坚强的靠山，杨坚更加觉得前途茫然，甚至有点怀疑自己是否真有天命。于是，他频频秘访著名的术士来和，看相问卜。来和详细询问了杨坚身边发生的事情，当他听到杨坚说自己只要一听到别人行走的声音就能辨别是谁的时候，顿时精神一振，故作神秘地说：“公眼如曙星，无所不照，当王有天下，愿忍诛杀。”硬是把杨坚悬起的心给镇定了下去。后来，来和在回忆当年的情景时说道：“臣早奉龙颜，自周代天和三年以来，数蒙陛下顾问，当时具音至尊膺图受命，光宅区字。此乃天授，非由人事所及。”可是，杨坚回家后，总觉得这天命老没应验，倒是咄咄逼人的宇文护像高悬的剑，让他寝食不安。于是，他又找了好几位道士，如张宾、焦子顺和董子华等，逐个看相。不料，这些赫赫有名的道士也都异口同声地说：“公当为天子，善自爱。”杨坚这才略感安心。
此时，北周的政局暗暗朝着不利于宇文护的方向发展。武帝大智若愚，小时候，父亲宇文泰见到他就惊异地说道：“成吾志者，必此儿也”；长兄明帝遇害时，特意把皇位传给他，也是因为认定“能弘我周家，必此子也”。这些年来，武帝听任宇文护专权而得以自我保全。宇文护处在权臣擅政的地位，必然人心不服，而其推行的高压政策，会给自己造成巨大的潜在对立面，只要保住皇位，耐心等待，就一定能够铲除宇文护。
天和七年（571年）春，宇文护的党羽宇文直因为五年前与陈军交战失利而被免职，遂记恨宇文护，秘劝武帝诛杀宇文护。十分明显，对手的阵营已经出现分裂，这是予以致命一击的最佳时机，武帝当机立断，秘密将右官伯中大夫宇文神举、内史下大夫王轨和右侍上士宇文孝伯等一班心腹召进宫中，密谋布置。三月十八日，宇文护从同州大本营回到京城，照例谒见皇上。武帝平时并不以君臣礼而是以家人礼接见宇文护，以示尊崇。今天也不例外，他见到宇文护进来，显得非常高兴，一边带着宇文护到含仁殿去谒见皇太后，一边说道：“太后春秋高，颇好饮酒。虽屡谏，未蒙垂纳。兄今入朝，愿更启请。”说着便从怀里掏出早已写好的上谏文《酒诰》，交给宇文护道：“以此谏太后。”宇文护不知是计，慨然允诺。见过太后，宇文护果真拿出《酒诰》，读将起来。这时，站在一边的武帝悄悄绕到背后，用手中的玉琏猛击宇文护后脑。宇文护没有防备，跌倒在地，武帝命令宦官何泉用刀劈他，但宇文护平日威风惯了，何泉竟怕得下不了手。这时，埋伏在内的宇文直跳了出来，劈死了宇文护。结束了宇文护专权，北周终于实现了朝政的统一。为了庆祝胜利，武帝把这一年改为建德元年，表示要推行德政的意思，杨坚也长长地吁一口气。
杨坚与独孤氏结为夫妻后，他在北周政权中的地位，可谓扶摇而直上。特别是周武帝聘杨坚长女为皇太子妃，对杨坚“更加礼重”。杨坚地位的骤然上升，在皇室和朝廷大臣中引起了某些人的戒心。大冢宰、齐王宇文宪（先崎武帝宇文邕同为宇文泰之子）曾对武帝说：“普六茹坚（魏恭帝初年，赐杨忠姓普六茹氏）相貌非常，臣每次见到也时，总是不觉地失击主意。此人恐怕不肯久居人下，请陛下尽早除掉他。”
周武帝是北周最有作为的皇帝，他“沉毅有智谋”，“性又果决，能断大事”，于在位十八年中，“修富民之政，务强兵之术”，为强盛北周政权作出了重大的贡献。武帝对杨坚的印象颇佳，不主张以貌取人，对于齐王宇文宪的进言，周武帝并不在意，只是淡淡地说道：“此人止可为将而已，不必多虑。”
一次，内史王轨向武帝进言说：“皇太子非社稷主，普六茹坚貌有反相。”周武帝闻言后，脸色立即冷落下来，很不高兴。在封建时代，废立太子被视为皇帝的“家事”。如不是在特殊的情况下，朝廷大臣是不敢贸然对此事发表意见的。王轨位不过内史，不待天子询问而突如其来地甜什么“皇太子非社稷主”，可谓是触犯了大忌，当然要引起武帝的反蒋。因此，“普六茹坚貌有反相”这后半句话，武帝听后也很不顺耳。但是，周武帝毕竟是一位自有主见的大度之君。他没有因此而加罪于王轨，只是不软不硬地反问道“如果必定是天命有在，又将会有什么办法呢？”王轨听得出武帝后半句话的分量，感觉到自己是失言于君主面前，怎敢再说三道四。
宇文宪、王轨的进言虽然先后被武帝压了回去，但杨坚得知后却恐惧万分。在伴君如伴虎的封建专制时代，杨坚从此更是时时事事小心谨慎，“深自晦匿”。周武帝对于宇文宪、王轨等人及早除掉杨坚的言论，表面上不在意，有时甚至反感，这是同他的背景有关。当时，大冢宰、晋国公宇文护专断国家人权，周武帝所处心积虑的大事。是如何及早地铲除宇文护及其一伙，怎会把主要精力用在消除对皇权尚来构成任何威胁的杨坚？当然，周武帝对于宇文宪，王轨的进言，也并非是毫不动心。他曾向来和询问对杨坚的看法，来和向周武帝搪塞说：“随国公仅仅是个守节义的人，可以镇守一方。如果用他为将领，敌阵是没有攻不破的。”周武帝对于来和的搪塞之词表示首肯，杨坚在恐惧之中终于得以安然无恙。来和是长安人，他于建德四年见大将军杨坚相貌不凡，便私下对杨坚说：“国公的双目如同晨星般闪烁着光芒，天下的一切无不照临，定将王有天下。望您能宽容待人，不可妄行诛杀。”来和既然认为杨坚日后能君临天下，并特意在私下向杨坚透露这层意思。
建德元年（572年）三月，周武帝一举诛杀宇文护等人，国家的军政大权已牢牢地掌握在自己手中。周武帝在诛杀宇文护后，致力于“静在宁民”，轻徭薄赋，富国强兵，开疆辟土。而周武帝的富国强兵、开疆辟土，则为杨坚提供了施展才能、报效国家的大好机会。