用人权一直是皇权的一个重要组成部分，吏部尚书一职非常重要，孝武帝担心吏部尚书在用人问题欺瞒自己，一直考虑如何将吏部尚书职权削弱，大明二年六月，他下诏专门阐述了吏部尚书的重要性，以一个人充当选举天下贤才的重任，很难做到公平公正，命令同时设置两个吏部尚书，以相互制衡。诏书下发以后，引起了巨大反响，为了争取朝廷主流意见的支持，他另外又给太宰刘义恭写信说明了设置两名吏部尚书的原因：我也知道因循守旧很容易，改革旧制往往会让人生疑，但是，在选拔官吏时，吏部尚书过去一直是与录尚书事一同商量确定的，这都是因为以一个人的能力，往往难以做到周全，且会有争夺威权的嫌疑，不应当专门交给一个人。前不久，我们撤销了录尚书事一职，这样以来，这项工作就成了吏部尚书一人的事情了，如果出现问题，就会造成求告无门的现象，如果设置了两位，就不会出现这种弊端。他还说，分割扬州和荆州的时候，自己就有了此意，只是当时考虑到一时间改革的措施太多了，众人都感到惊讶，所以才暂时没有将此事提上议事日程。刘义恭当然不敢有异，于是，不仅设置了两个吏部尚书，以谢庄和顾觊之为吏部尚书，而且还撤销了五兵尚书。五兵尚书在隋唐以后改名为兵部尚书，自曹魏开始设置；据《宋书·百官志上》记载，五兵是指中兵（京师部队及宫廷禁卫军）、外兵（地方部队）、骑兵、别兵（少数民族部队）、都兵（负责仪仗鼓吹的部队）。孝武帝在削弱大臣的权力的同时，还千方百计地提高身边近臣们的地位。晋代的时候，散骑常侍的地位与侍中差不多，都非常尊崇，由于这一职务不负责具体事务，只是皇帝身边的顾问，慢慢的选用的人名望都轻了，这一职位也随着显得可有可无，一些寒人比如徐爰、乐询、戴明宝等人也都是散骑常侍，孝武帝继位以后，为了提高身边亲随的地位，在孝建三年专门下诏称：“散骑常侍为皇帝亲随，设置该官就是为了给皇帝出主意、提建议，位置实在很重要，过去，在选拔散骑常侍的时候，要提高规格。”当时的吏部尚书颜竣就推荐了临海太守孔觊之和王彧二人，孔觊之是曾经弹劾过徐羡之的孔琳之的孙子，而王彧，前已说过，字景文，是琅邪王氏，其父亲王僧朗，在宋文帝时期做过湘州刺史，王彧过继给伯父王智，王球是王彧的堂叔父。王彧长相俊美，喜欢清谈，与谢庄齐名，宋文帝对他很看重，给自己的第11子也取了一个彧字，还为刘彧娶了王彧的妹妹王贞风为妻。宋文帝的五妹新安公主离婚后，宋文帝打算将他嫁给王彧，却遭到了王彧的坚决拒绝。对于孝武帝的这个举措，蔡廓之子、侍中蔡兴宗对人说：“吏部非常重要，而散骑常侍却清闲，仅仅改变人选，而不赋予实权，即使是皇帝想提高他的地位，人心也难以改变。”不久以后，散骑常侍的地位再度降低，而吏部尚书的地位依然尊贵。《资治通鉴》引用裴子野的话说：“从古至今，选人用人历来都非常困难，上古时期的圣王也都说过。周王朝对人才的选拔是从学校就开始了，通过学校培养，然后，由当地进行评议，再由地方官上报到中央的六个部门里，最后呈报给周王任命；汉朝时期，在发现和选拔人才方面，先由地方政府搜集贤能之士们的事迹，呈报给中央的太傅（皇帝师傅）府、太尉（总司令）府、司徒（总理）府、司空（最高检察院）府、大将军（总司令）府这五个府里担任办事员，由三公来考察他的人品及工作能力，由尚书们向天子呈报，这样以来，一个人要脱颖而出，就必须经过很多人的考察，所以，为官之人大多都比较称职，很少会败事的。但从曹魏到晋代以来，就不是这样，教训很多。那些表面忠厚，内心险恶的人，即使察言观行，还担心难以了解全面，更何况是成千上万的官员，仅仅凭一面印象，由一个部门主管，这当然会让跑官要官之风盛行，根本没有办法遏止。跑官要官的人势在必得，胁肩谄笑，贪污狼藉，官场上再无廉耻，也没有了谨慎宽厚的操守，官员贪污邪恶，国事由此而败，社会由此动乱。这种官场氛围，即使是舜帝当皇帝，舜帝的名臣龙当大臣，要想治理好国家也是不可能的，何况是后世的平庸之辈呢？孝武帝虽然将吏部尚书一分为二，但却不能采用周王朝和汉代的制度，又有什么用呢？”

孝武帝巩固皇权的第二个措施，是让高门大族对皇权产生敬畏，他把矛头对准了中书令王僧达。王僧达祖父是王珣，父亲王弘，孝武帝继位后，为了拉拢琅邪王氏，即任命他为尚书右仆射，比颜竣和刘延孙的职务都高。王僧达自视甚高，一两年以内就想当上宰相，他曾给孝武帝的回信上称：“亡父亡祖，司徒司空。”傲慢无礼的王僧达很快就引起了孝武帝的不满，将他任命为护军将军，王僧达不得志，就请求去当徐州刺史，但十分精明的孝武帝决不会让他掌握实权，就没有答应。王僧达反复陈情，孝武帝最终让他离京当了个吴郡太守，王僧达更为郁闷。吴郡当地寺庙中很多富和尚，王僧达在任期间派遣主簿顾旷率领门生故旧抢劫和尚竺法瑶，劫得数百万钱；刘义宣叛乱时，朝廷允许地方郡守招募一千人规模的卫队，但王僧达却擅自招募了2400人；他还使用公家的劳动力在吴郡建私宅，被弹劾免官；免官后，孝武帝一次单独召见他，他见到孝武帝后，一幅傲慢的样子，根本不向孝武帝谢罪，只是圆瞪双眼，死盯盯地注视着孝武帝。王僧达出去后，孝武帝自我解嘲，叹息说：“这个王僧达可不是疯了么？竟有脸面对着天子。”后来，颜师伯去见王僧达，王僧达感慨说道：“大丈夫宁可玉碎，岂能窝窝囊囊地求活！”显示了不与孝武帝妥协的态度。王僧达有恋童癖，当初，他在东宫当太子洗马的时候，喜欢一名叫朱灵宝的军人，等到他当宣城太守时，朱灵宝已经长大了，王僧达假报朱灵宝死亡，将他登记到宣城左永之的户口下，改名左元序，请求宋文帝任命他当武陵国典卫令，又补竟陵国典书令，建平国中军将军。孝武帝孝建元年的时候，事情败露，王僧达上表称自己不能听从身边人的劝说，投靠权贵，孝武帝看到他的上书丝毫没有悔改之意，非常恼火。王僧达的族侄王确年少时相貌俊美，王僧达又勾搭上了他，王确的叔父王休是永嘉太守，打算将王确带到永嘉，王僧达打算把王确强留下来，王确知道了此情，不敢与他见面。王僧达恼羞成怒，在房屋后挖了一个大坑，想把王确引诱来杀掉埋了，他的堂弟王僧虔知道后，把他呵斥了一通，这才作罢。黄门郎路琼之是路太后哥哥路庆之的孙子，是王僧达的邻居，路琼之曾经衣着华丽，前去拜见王僧达，不巧，王僧达将出门打猎，已经换上了猎装。路琼之就坐后，王僧达也不怎么搭理他，只是问道：“过去我们家马夫路庆之，是你的什么亲戚？”还下令将路琼之坐过的床焚烧掉。受了奇耻大辱的路琼之回去就给自己的姑奶路太后说了，路太后大怒，她哭着对儿子孝武帝刘骏说：“我还活着，就有人欺负我们家，我死后，我们家的人还不得当乞丐！”孝武帝说：“琼之年少，无事去王僧达家做什么？受到侮辱，这很正常。王僧达是贵公子，岂能因这件小事就加罪他呢？”路太后不答应，她说：“我不会与王僧达活在同一个世上！”在这件事发生之前，南彭城（侨郡、治所在今江苏省常州市）居民高闍、和尚释昙标、道方等人妖言惑众，与建康蓝宏期等人密谋作乱，他们又联络殿中将军苗允等人，起兵进攻宫门，事情败露后，被杀的有几十人。在路太后的坚持下，孝武帝也考虑到王僧达屡屡对自己不敬，终归不会改悔，就接着高闍之事诬陷与王僧达有关，送交廷尉，在狱中赐死，王僧达死时36岁。王僧达死前，还拉了一个垫背的——颜竣。王僧达与颜竣二人功利心都很强，一个凭借着高门地位，一个凭借着佐命功劳，都渴望着在新朝爬上高位，据《宋书·何偃传》称，在孝建初年，颜竣与何偃都在门下省，两人都是文学爱好者，非常友好，但不久，颜竣就认为自己与孝武帝关系很近，应该居于更重要的位置，可现在却与何偃的地位差不多，不久，何偃又被任命为吏部尚书，孝武帝还把自己最心爱的长女山阴公主刘楚玉嫁给了何偃的儿子何戢，颜竣更是不满，开始与何偃不和，何偃吓得突然心脏病而死。在权势面前，对自己的好朋友何偃，颜竣尚且如此，象一向傲慢无礼且同样利欲熏心的王僧达这样的人，两人之间在孝建初年即出现隔阂，也在情理之中。其后，王僧达狂妄自恣，颜竣苦口婆心，都让孝武帝感到浑身不自在，二人分别被赶出了京师。此时，王僧达认为自己被诬告是颜竣所为，就揭发了颜竣被贬以后曾说出的种种怨言，并说颜竣经常埋怨孝武帝不听劝谏，王僧达的揭发与颜竣所为很符合，于是，孝武帝就让御史中丞庾徽之弹劾颜竣，将其免官、削去爵位，待事情查清以后，再交付廷尉问罪。