孝武帝还非常严酷暴虐，对广陵屠城，并将人头运往石头城南岸，修建了一座骷髅台，这当然是为了震慑异己势力，也确实起到了一定的效果，群臣都是提心吊胆的，生怕哪天被孝武帝杀了，《宋书·柳元景传》云：“世祖严暴异常，元景虽荷宠遇，恒虑及祸。太宰江夏王义恭及诸大臣，莫不重足屏气，未尝敢私往来。”在这种极其不正常的君臣关系下，大家人人自危，尤其是太宰刘义恭时刻害怕受到猜忌。他见到孝武帝总是低声下气的，专拣好听话说，刘义恭口齿伶俐，还善于附会，每每遇到祥瑞之事，总要献上赋颂，歌咏孝武帝的美德，说得孝武帝心花怒放，大明元年，石头城的西岸生出三脊茅，刘义恭五次三番地上书请求孝武帝到泰山封禅，弄得孝武帝龙心大悦；大明五年元旦，朝贺时，雪落在刘义恭的衣服上，有一片六瓣的雪花，刘义恭又上奏称这是祥瑞，再次让孝武帝喜上眉梢；只要主子喜欢的，肯定会有人去溜须拍马，大明四年，颜师伯被征召为侍中，颜师伯虽然也算是一位文武全才，但因其人善于奉迎、献媚，深得孝武帝的喜爱，后世对其评价并不高。颜师伯大肆招权纳贿，家中骤然大富，一次，他在宫中与孝武帝两人赌博，孝武帝先掷得了五个五（雉），自以为必胜，谁知颜师伯竟然掷了五个六（卢），孝武帝顿时脸色大变，颜师伯见状，赶紧把骰子一扫，假装失望地顿足叹气道：“哎呀，差一点是个卢！”当天，颜师伯一下就输给孝武帝一百万钱。在这样的主子周围，只有象颜师伯这样善于溜须拍马的人能大行其道，而稍微有点节操的人的处境就非常不妙了。周朗、颜竣、蔡兴宗，流放的流放，被杀的被杀，疏远的疏远，沈怀文与颜竣、周朗关系都很好，颜竣被杀，周朗得罪，孝武帝曾对沈怀文说：“颜竣如果知道是我致使杀了他的，也就不敢那样了。”沈怀文听了，一句话也不敢再说，一次，谢庄、沈怀文、王彧、颜师伯四人值班，路上，王彧盛赞颜竣、周朗人品很好，沈怀文也随声附和，后来，颜师伯给孝武帝打小报告，孝武帝听了非常不高兴。孝武帝还不承认各地原来的士族，让他们充当低级官吏，这些人都不服从，纷纷逃亡，朝廷屡次打击，效果也不明显，于是，孝武帝下令只要是抓住的，即可以军法斩杀，这样以来，这些人无不逃窜山林，落草为寇；朝廷赋税沉重，百姓为了交税，贫苦人家卖妻卖子，甚至有自缢而死的，沈怀文劝谏，孝武帝一时采纳了，但过后不久，一切又照旧；孝武帝本人贪财，他的儿子们也同样如此，刘子尚等诸位王子也都雇人经商牟利，成为天下一害，沈怀文劝谏，但孝武帝不听，由于沈怀文屡屡以直言劝谏，慢慢惹得孝武帝的不满。

孝武帝还喜欢戏弄群臣，这当然是他打击臣下自尊心，以期取得心理优势的手段，包括太宰刘义恭在内，随时都会受到孝武帝言语的侮辱。他根据群臣身材的高矮胖瘦，给大家都起了一个外号，胡子多的就被称为羊，还有王玄谟是北方人，被称为老伧（北方佬），尚书仆射刘秀之比较吝啬，被称为老悭（吝啬鬼），颜师伯为大板牙等等，尝为王玄谟写了一首调侃的四时诗：“堇荼供春膳，粟浆充夏飧。瓟酱调秋菜，白醝解冬寒。”黄门侍郎宗灵秀肥胖，叩头起立都很不便，每到宴会，孝武帝玩恶作剧，故意不断赏赐给宗灵秀很多东西，就是想看到他跌跌撞撞、东倒西歪的样子，以此为乐，这还不过瘾，孝武帝还让人用木头刻了一座宗灵秀父亲宗叔献的像，放到他家的堂上，让宗灵秀每次见到，都得下拜——想象着宗灵秀的样子，孝武帝刘骏准能从被窝里笑得乐不可支。他身边还有一位宠幸的马来奴仆，名字叫白主，经常让他拿着木棒，杖击百官，包括尚书令柳元景也都经常挨打，只有蔡兴宗为人严正，连孝武帝也不敢随意对他戏弄，颜师伯曾对仪曹郎王耽之说：“蔡尚书一直未被戏弄，的确不同凡响。”王耽之回答：“蔡尚书的父亲蔡廓从前在刘裕的相府，也一向以方正著称，武帝私宴也从不请他参加，蔡尚书可谓是社稷之臣。”

孝武帝戏弄群臣大多是在宫内淫宴上进行的，除了在宫内花天酒地，他还巡游无度，每次出游，路太后和六宫嫔妃也一同随行。沈怀文和王彧二人经常劝谏孝武帝不宜屡屡出游，一次，在巡游途中，遇到了漂泊大雨，二人坐在松树下面避雨，王彧说：“你得去劝劝了。”沈怀文说：“我自己说不起作用，还是我们一起劝吧。”江智渊也在一旁，也表示赞成，不一会儿，三人被召入射雉鸡的围场内，沈怀文说：“圣上不宜淋在如此大雨中。”王彧也随声附和，当时，孝武帝正弯弓搭箭在瞄准，还没等江智渊说话，只听孝武帝的脸沉了下来，说道：“你是想学颜竣吗？为啥就你懂得多！”又说：“颜竣这小子，我恨不得拿鞭子抽他脸！”孝武帝每次聚会，总要群臣都喝得烂醉，沈怀文素不饮酒，又不喜欢开玩笑，孝武帝就认为他是故意标新立异，与自己作对，谢庄曾劝诫沈怀文：“你这样总与别人不同，岂能长久？”沈怀文回答：“从小我都是这样，岂能马上改变？不是我故意这样，只是本性如此。”江智渊也是这样，孝武帝每次在宴会上辱骂群臣，还让群臣之间相互谩骂、戏弄，江智渊素来严正、谦让，逐渐引起孝武帝的反感，一次，孝武帝让王僧朗戏弄自己的儿子王彧，江智渊严肃地说：“恐怕不应该这样开玩笑。”孝武帝听了不禁恼火，说道：“江僧安（江智渊的父亲）就是个傻瓜，同是傻瓜的儿子之间自然是惺惺相惜。”江智渊听了亡父的名讳，伏在席子上流泪，从此，恩宠大大减退，稍后即被赶出朝廷，任命为新安王刘子鸾北中郎长史、南东海太守，加拜宁朔将军，行南徐州事。