胡太后为了重获自由，就要想方设法取悦高纬，知子莫如母，她知道高纬好色，便将哥哥胡长江的女儿召入宫中。小胡氏丰满妖娆，姿色过人，胡太后料她一定合乎高纬的胃口。果然，当盛装华服、拖着长长裙裾的小胡氏进入高纬的视线时，高纬喜出望外，非常宠爱，立即封她为昭仪。胡昭仪因有重任在肩，为不辜负姑姑的嘱托，使尽女儿媚态，高纬欢喜得不得了，愈益宠幸。胡太后为了能使自己的侄女当上皇后，不惜自降身份，拼命巴结高纬的乳母陆令萱，与之结为金兰，还赠送陆令萱名贵的珠宝首饰。陆令萱觉得有利可图，心想，帮谁也是帮，就乐作顺水人情。在陆令萱的帮助下，不久，高纬废黜皇后斛律氏，胡昭仪如愿以偿当上了高纬的第二任皇后。当时，高纬猜忌斛律光，借口斛律光谋反而处死斛律光一家，皇后斛律氏因此失宠。胡太后因荐枕之功，同高纬冰释前嫌，得以返回皇宫。继续从前那种醉生梦死，随心所欲的生活。
但母子之间的互相猜忌并没有消除，这里有一个小插曲，当高纬决定将胡太后迎还回宫，胡太后听到使者到来的消息，十分吃惊，以为自己就要被杀了。此后，在宫中，每当胡太后做的饭菜，高纬连筷子也不动，怕被母亲下毒。母子的信任几近于无，悲夫。
当时北朝的形势，是北齐强北周弱，但北周有一代明主周武帝宇文邕，雄才大略，高纬不是对手，但又十分昏庸残暴，根本听不进臣民的进谏。使高氏政权与鲜卑士族发生了分裂，又与汉士族发生了分裂，高纬确实成了孤家寡人。唯一能够使北周畏惧的人物斛律光，又被北周施了反间计，到处传播谣言：“百升飞上天，明月照长安”，“高山不推自崩，槲树不扶自竖”。这些谣言传遍了北齐都城的大街小巷，高纬竟稀里糊涂的灭了斛律光三族，朝野为之痛惜。北周得知高纬自毁栋梁，高兴得大赦境内，自此，已听到了北周灭齐的得得铁蹄了。
国家危在旦夕，但高纬照样荒唐。小胡氏当上皇后以后，自认为有恩于胡太后，几次忤逆胡太后之意，惹得胡太后大骂小胡氏为小贱人，在高纬面前诋毁小胡氏，并劝高纬废了她的后位。男人都有二三其德、喜新厌旧的德性，没几天高纬就又恋上了曾做过斛律皇后侍婢的穆邪利（小字黄花），并把她升为第三任皇后。可是，又没几天，高纬就又移情别恋，宠爱起弹得一手好琵琶的曹昭仪来。穆皇后为了夺回高纬对自己的专宠，便诬陷曹昭仪有厌蛊术，高纬就将曹氏赐死。谁知不多久高纬又宠幸一个董昭仪，并封为夫人，恣情淫欲，通宵达旦。穆皇后更弄得没法，每天只好与从婢冯小怜哭诉内心的不满。冯小怜貌美聪慧，精通乐器，且工歌舞，便替穆皇后想出一计，情愿以身做诱饵，离间诸宠。穆皇后没别的办法，就答应了。爱都是自私的，冯小怜不但没能帮上穆黄花的忙，反而一个人霸占了高纬。而高纬自从拥有了冯小怜以后，更是觉得，只有女人冯小怜才叫女人，自己以前都是荒唐。高纬着迷冯小怜，“坐则同席，出则并马”，还发下毒誓“愿得生死一处”。公元576年10月，北周军队进攻北齐，包围了重镇平阳（今山西临汾）。此时高纬还在与宠妃冯小怜在外地打猎，从中寻求刺激。闻知平阳被围消息，高纬要率兵增援。冯小怜正在兴头上，要求更猎一围。美人的话当然重于国事，高纬继续陪伴小怜围猎。当围猎结束时，平阳城已经陷落了。高纬这才慌了手脚，急忙禅让给太子高恒。第二年正月，高恒即位，史称幼主。北周大军压境，逼近晋阳，晋阳一日三惊。高纬心虚，未等周军攻城，带着冯小怜等人往济州（今山东）逃跑，只有百余骑随从。到济州后，他想跑到从前的敌国陈朝避难，真是幼稚得很。孙悟空怎么逃也逃不出如来佛的手心，何况他不是孙悟空，他当然跑不出北周军队的包围圈，在南邓村被逮个正着，冯小怜、胡太后、穆黄花等高家女流一起成为周军的俘虏，被带到了长安，做奴做妓，受尽了凌辱。