杨暕，字世朏，小字阿孩。他容貌俊美，少时候深受祖父隋文帝的喜爱。开皇中，被立为豫章王，食邑一千户。年长后，博览群书，又擅长骑射，曾历任内史令、扬州总管沿淮以南诸军事。隋炀帝即位后，被晋封为齐王，食邑五千户，后任豫州牧、河南尹。太子杨昭死后，隋炀帝下令将杨昭东宫卫队两万多人都划归杨暕指挥，又命令吏部尚书牛弘给杨暕精选下属，大多是公卿的子弟。隋炀帝以光禄少卿柳謇之担任齐王长史，并告诫他道：“齐王品德学业都有长进的话，富贵自然会进入你家；如若不然，大祸也会降临到你的头上。”柳謇之出自河东柳氏，河东柳氏在北魏、北周时期就已成为望族。柳虬曾任独孤信从事中郎、北周丞相宇文泰记室参军，后为秘书监，有子柳鸿渐；柳虬的弟弟：柳桧（曾任北周魏兴、华阳二郡守，战死，有子柳雄亮，入隋后曾任秦王杨俊的司马）、柳鷟（有子柳带韦，曾任北周陈王宇文纯并州总管长史）、柳庆（为北周骠骑大将军、开府仪同三司、尚书右仆射、左仆射，有子柳机、柳弘、柳旦、柳肃，柳机就是兰陵公主的丈夫柳述的父亲），而柳謇之就是柳机的堂侄，与柳述是堂兄弟关系。柳謇之，字公正，身高七尺五寸，容貌非常伟岸，精神焕发，入隋后，历任通事舍人、内史舍人、兵部司勋二曹侍郎。柳謇之口才很好，酒量又很大，能喝下一石酒也不会醉，因此，隋朝朝廷总让其接待外宾。开皇中，隋文帝将光化公主嫁给吐谷浑王、以义成公主嫁给启民可汗，都是派柳謇之送亲的。因这两次送亲，被吐谷浑、突厥赠予他私人两千多匹马还有大量财物，回来之后，他全部散给亲戚们，家里没有留下一点。隋炀帝即位后，又拜其为光禄大夫、黄门侍郎。
当时在给齐王杨暕挑选下属时，隋炀帝还举行了较为隆重的仪式，他身着正式服装登上大殿，命齐王站在西朝堂，派吏部尚书牛弘、内史令杨约、左卫大将军宇文述等人从大殿上把柳謇之带到齐王站立之处，面西而立。牛弘给齐王宣读诏书，说道：“我（是隋炀帝自称）出藩当晋王之时才十二岁，先帝让我站在西朝堂，命高颎、虞庆则、元旻等人从内殿送来王子相，并告诫我说：‘你还不懂事，让王子相来辅佐你，事无大小，都可全权委托他处理。不要亲昵小人，疏远了王子相。如果你能听我的话，将对社稷有益，也将令你成名；如果不听我的话，国家和你自身都将败亡了。’我接受先帝的教诲，时刻不敢忘记，如果没有王子相的帮助，就没有我的今天。你如今对待柳謇之要像我当初对待王子相那样。”
杨暕眼看就要当上皇太子，隋朝皇亲国戚、高官显贵们无不上门巴结，就连他的姑姑、曾任北周宣帝皇后的乐平公主杨丽华也来给杨暕送礼、讨好，杨暕因此逐渐骄横起来。他亲昵小人，经常横行不法，常命亲信乔令则、库狄仲錡、陈智伟、刘虔安、裴该、皇甫谌等人四处给他寻找美女。狐假虎威。乔令则等人背后有杨暕这个靠山，更是无恶不作，胡作非为。打听到哪家女孩子长得漂亮，总是谎称奉杨暕之命将人家载入杨暕家中，趁机藏匿起来，肆意**，过后再送回。库狄仲錡、陈智伟二人前往陇西出差，严刑拷打少数民族酋长，勒令送上良马，最后总算得到了几匹，二人带回送给杨暕。杨暕命令将马退还人家，但库狄仲錡等人却谎称是杨暕所赐，竟然私自牵回了自己家，杨暕对此一无所知。乐平公主杨丽华曾对隋炀帝说柳家的女孩貌美如花，当时隋炀帝不置可否，过了很久，乐平公主又把柳氏女送给了杨暕，杨暕笑纳了。再后来，一次，隋炀帝突然想起此事，就问姐姐乐平公主：“柳氏女现在何处？”乐平公主回答：“在齐王那里。”隋炀帝听后，心里非常不快。
杨暕在洛阳修建宅第，大门无缘无故倒塌了，正房的房梁也突然从中间断裂，人们都认为这是一个不祥之兆。杨暕随隋炀帝临幸汾阳宫，他奉命率领五万后军，与隋炀帝相距数十里安营。在汾阳宫，隋炀帝下令进行围猎，命杨暕率领一千骑兵参加围猎。结果，杨暕及其手下打下了很多麋鹿，而隋炀帝自己竟然一无所获。隋炀帝面上无光，责备手下的近臣，但近臣们都说被杨暕身边的人阻挡，野兽根本到不了隋炀帝跟前，于是，隋炀帝大怒，开始派人搜罗杨暕的罪过。
根据规定，县令不得无故离开本县。一个叫皇甫诩的伊阙县令，因是杨暕的心腹，这次杨暕也把他带到了汾阳宫。御史韦德裕迎合隋炀帝的旨意，遂弹劾杨暕违反制度，隋炀帝下令一千多名甲士闯入杨暕的住地，彻查此事。杨暕的王妃韦氏是民部尚书韦冲的女儿，早死，杨暕又与韦氏的姐姐、元夫人私通，生下一个女儿。杨暕曾召来看相师给后宫嫔妃看相，看相师指着元夫人说道：“这位生孩子的女士将成为皇后，王贵不可言。”京兆人达奚通有一个爱妾王氏唱歌很好听，王公贵族们在一起饮宴，也经常让王氏前来助兴，王氏因此也曾出入于杨暕家中。因元德太子杨昭还有三个儿子，杨暕虽然确信自己将被立为储君，但总是忐忑不安，暗中使用巫术诅咒。至此，上述事情全部浮出水面，隋炀帝大怒，下令斩杀乔令则等几个人，将元夫人赐死，把齐王府的官员们全部流放到边地。柳謇之因没能尽到匡正之责，也被除名。
当时，隋炀帝的幼子、赵王杨杲还在襁褓之中，他对群臣们说道：“朕只有杨暕这一个孩子，要不是这样，我会下令把他拖到街市上公开处死，以维护国家法律的尊严。”从此以后，杨暕就失宠了，虽然身为河南尹，但却无权过问具体事务。隋炀帝派一名虎贲郎将（正四品）监管齐王府，杨暕只要有一点过失，虎贲郎将就会立马向隋炀帝报告。隋炀帝也经常担心杨暕会发动政变，给杨暕身边配备的都是些老弱病残人员，只是充个数罢了。太史令庾质是庾季才的儿子，庾质的儿子担任杨暕的属下，隋炀帝对庾质说：“你让你的儿子当齐王的下属，这说明你不能对我尽忠，这是为何？”庾质回答：“臣侍奉陛下，臣的儿子侍奉齐王，都是一心一意的，不敢生出二心。”但隋炀帝依然很不高兴，将其贬为合水（今甘肃省庆阳市）令。
杨暕得罪后，隋炀帝曾责备经常与之往来的左骁卫将军董纯。董纯回答：“前不久多次探望齐王，是因为先帝、先后活着时在仁寿宫把元德太子杨昭和齐王杨暕放在膝上，曾叮嘱我说：‘你要看护好我的这两个孙儿，不要忘了我的话。’臣不敢忘记先帝的话，当时陛下您也在一旁。”隋炀帝听后，顿时变了脸色，承认道：“确有此事。”遂放了董纯，但过了几天，隋炀帝还是将他贬为汶山太守了。
隋炀帝与杨暕父子二人至死都是心存很深的隔阂。