高睿刚出生一个月时其父高琛就被杖击而死。高睿从小被高欢收养在宫中，由游氏抚养长大，得到同高欢儿子们一样的待遇。
高睿十岁时母亲去世，高欢亲自把他送到领军府，还帮他料理丧事。高睿大声号哭，几乎闭过气去，三天没喝一口水，使左右十分感动。高欢与娄昭君殷勤劝慰，他才有所克制。高睿守孝尽礼，依佛法长期吃斋，以至于骨瘦如柴，依仗手杖才能站立。高欢让高演日夜陪伴高睿，用心开导他。高睿一直不肯吃饭，因此高欢吃饭时一定把他叫来一起吃。后来高欢去世时高睿哭得吐了血。
后来高睿结婚时脸上有忧戚的悲哀之情。高澄问他说：“我帮你娶了郑述祖的女儿，她的家世十分显赫，但你好像却有些闷闷不乐？”高睿回答说：“我自小就成了孤儿，常羡慕别人有父有母，到了结婚的时候这种情感更为强烈。”话还没有说完高睿又情不自禁地哭了起来，高澄也因此默然无语。
高睿勤奋好学，经常读书到深夜。高洋登基后，高睿晋封为赵郡王，食邑一千二百户，迁散骑常侍。不久高睿又出任定州刺史，加抚军将军、六州大都督，当时年仅十七岁。高睿用心政事，劝课农桑，将所管辖的地区治理得井井有条，时人称之为良牧。
后来高洋下诏高睿带领山东数万兵卒修筑长城。这时恰好是盛夏的六月，高睿在途中命令撤除所乘车辆的盖扇，与将士们一起同甘共苦。定州城有冰室，每年也冰块，长史宋钦道派人用车拉着冰块兼程追赶高睿。中午高睿的部众停下来休息，当时正是特别热的时候，人们都热得受不了，正好这时送冰的人到了，士兵们都希望自己能分到一点冰水。高睿对着冰叹息道：“三军之人喝的是热水，我怎么可以一人独饮冰水。”他统统地将冰让给了士兵，自己未尝一滴。士兵们个个都被感动，很长时间都在津津乐道高睿德的体恤下情。
当时劳役结束后都是让人们自己回家，这样年轻力壮的都先走了，老弱病残的人却被抛弃下来，加上饥饿疾病，很多人就这样死去。高睿亲自率领自己的部众和服役的人一块回家，依靠此法活下来的人有很多。
这么好的王爷打着灯笼也找不到，不过很快就要进坟墓了。出宫后高睿走到深巷时一群士兵把他抓住送到华林园，刘桃枝将其杀害。高睿主管朝廷政事的时间很久，他清廉正直，是北齐难得的贤臣，朝野上下都为他的死感到冤枉痛惜。
高睿一死高纬重新任命和士开为侍中、尚书左仆射。娄定远见势不妙，赶紧把和士开送给他的美女和珠帘又还给他，还增添了一些别的珍宝，真是赔了夫人又折兵。
从此以后胡太后与和士开更加可以肆无忌惮，再也没人敢坏他们的好事了。
鸳鸯双栖蝶双飞，满园春色惹人醉。
悄悄问声和大人，太后美不美，太后美不美。
说什么皇权富贵，怕什么戒律清规。
只愿天长地久，与我意中人儿紧相随。
胡太后这个女人不得了，她自己给高湛带了绿帽子，却对高湛的其他女人嫉妒的要死，只不过以前一直隐忍不发，所有的人都被她瞒过。高湛刚一死她的狰狞面目就暴露出来了。妃子马氏很受高湛的宠爱，结果高湛尸骨未寒胡太后就逼着马氏上吊自杀。还有王氏和卢氏胡太后也让她们自杀，两个女人痛哭不已，还是高纬看她们可怜，偷偷塞给她们一些财物，让她们出宫躲起来。
青竹蛇儿口，黄蜂尾上针。二者皆不毒，最毒妇人心。
高纬年纪轻，朝中有不少佞臣。武卫将军高阿那肱一向以善于花言巧语的谄媚受到高湛与和士开的厚待，高湛以前常常叫他在东宫侍奉太子。高阿那肱由此深得高纬的宠爱，逐渐升迁为并省尚书令，封淮阴王。
高湛曾经挑选二十个都督派去做太子的侍卫，韩长鸾是其中之一，高纬特别喜欢韩长鸾。韩长鸾官至侍中、领军、总知内省机密。
另外有个叫陆令萱的女人，丈夫骆超犯谋叛罪被处死，陆令萱被发配到皇宫中做宫女，儿子骆提婆也没入官府为奴。这段日子不堪回首，所有的人都给她白眼，谁让她是一个犯人的妻子呢？陆令萱只能默默忍受，尽量地和别人虚与委蛇，不知道这样的日子何时是个头。没想到后来时来运转，陆令萱被选作当高纬的奶妈，当时高纬还是婴儿。难道这也是天将降大任于斯人也,必先苦其心志,劳其筋骨,增益其所不能？
陆令萱之前的凄凉日子让她学到了很多，她乖巧狡猾，善于讨好谄媚，所以得到了胡太后的信赖，在宫中她可以作威作福。高纬封陆令萱为女侍中，连和士开、高阿那肱都做了她的干儿子。
当然女侍中离真正的宰相差得远了，虽然侍中相当于宰相，但女侍中仅仅是女官而已。说白了女侍中就是宫女的老大，其实还是宫女。陆令萱能有如此的地位主要还是因为她是高纬的奶妈。
陆令萱从一介犯人的妻子成长为权倾天下的“女相”，这其中的艰辛只有她自己知道。经历了这么多的磨练，现在的陆令萱无比强大，论起智谋心计来高纬后宫所有的女人都不是她的对手。陆令萱可以呼风唤雨，为所欲为。
陆令萱引荐儿子骆提婆进宫，从早到晚和高纬在一起嬉戏玩耍，骆提婆因此几经升迁到开府仪同三司、武卫大将军。宫女穆舍利本来是斛律皇后的奴婢，但非常得到高纬的宠爱。陆令萱为了多个帮手，巩固自己的权势，就认她做干女儿，还让自己的儿子骆提婆改姓为穆。反正死鬼丈夫已经没有了价值，还是儿子的前途比较重要，姓什么实在是无关紧要。
后来穆舍利生下皇子高恒，当时高纬还没有儿子，因此非常高兴，大赦全国。陆令萱想以高恒为太子，但又怕遭到斛律皇后的忌恨，所以禀告高纬让斛律皇后抚养高恒，倒难为她想得周到。