史书称，刘义康非常干练，见过的人总过目不忘，对下级上呈的文书，他都是精心修改，“莫不精尽”，他曾经对至少在元嘉十年十一年左右宋文帝就已经病重，不能正常处理朝政，这一期间一直持续到元嘉十九年才“以久疾愈，始奉初祠”，刘义康“既专总朝权，事决自己，生杀大事，以录命断之。凡所陈奏，入无不可，方伯以下，并委义康授用，由是朝野辐凑，势倾天下。义康亦自强不息，无有懈倦。府门每旦常有数百乘车，虽复位卑人微，皆被引接。又聪识过人，一闻必记，常所暂遇，终生不忘，稠人广席，每标所忆以示聪明，人物益以此推服之。” 在这漫长的岁月里，刘义康的相权代替了皇权，为开创元嘉之治起到了不可磨灭的作用。当时，宋文帝的几个儿子年龄都很小，只有依靠刘义康等宗室他别无他法，而且，刘义康本人对宋文帝又是忠心耿耿，即使他独断专行一点，宋文帝还能忍耐。然而，随着宋文帝儿子们逐渐长大，刘义康集团实力的不断增强，再加上刘义康本人做出了诸多令宋文帝难以忍受的事情，致使刘湛与殷景仁之争逐渐演变成为宋文帝的皇权与刘义康的相权之争了。

刘义康虽然干事的能力很强，但他身处高位，却不懂中国高层的权术，做出不少犯忌讳的事情：一是他爱惜官爵，凡是能力强的人都纳入到自己的幕府中，却将一些没有能力的或者自己不满意的人，用为朝廷之官，这就让人感觉他在私自配置自己的势力。二是他自认为兄弟之间亲密无间，不顾多少君臣大体，很多事情上他都是“率心迳行，曾无猜防”。自己府中配备了六千多名仆从，也不报告。由于刘义康势倾天下，下面的人都将最好的贡品送到相府，而将次一等的送给皇帝，一次，宋文帝冬天吃柑橘，叹息柑橘的形状和滋味都不佳，当时刘义康在座，他说：“今年的柑橘真有好的啊！”当即就让人回到自己家里取来柑橘，比宋文帝吃的还大三寸。虽然刘义康对此并不知情，但是，这件小事在宋文帝心中留下的阴影可想而知。现在宋文帝并没有死，尚且如此，一旦宋文帝死后，即便是刘义康本人没有其他想法，其庞大的利益集团如果一直拥戴他，该怎么办呢？难道让自己的太子刘劭重蹈哥哥少帝的覆辙？三就是刘义康排挤殷景仁了。殷景仁掌握着中书起草诏书、尚书领选等重要权力，是对刘义康相权的制约，如果刘义康不贪权的话，也就罢了，可是，在权力面前能有几个人有免疫力呢？“率心迳行”的他为了专权，当然欲排挤掉殷景仁，而任用自己的亲信刘湛了，然而，这恰恰触犯了宋文帝的忌讳。

宋文帝坚决拒绝了刘义康的建议，但是，鉴于自己的身体状况和刘义康、刘湛等在朝中的势力，老谋深算的宋文帝采取了暂时妥协、继续观察、固守原则、化明为暗的策略，其后，殷景仁卧病在家整整五年，但宋文帝并没有让他辞职，而是将他保护了起来，而对刘湛则是“意虽内离，而接遇不改”。宋文帝还在继续观察，反复权衡，而紧接着发生的一件事让宋文帝下定了清除刘义康一党的决心：

南阳刘斌是刘湛的同族，有干事之才，受到刘义康的赏识，由司徒右长史提拔为司徒左长史；从事中郎琅邪王履、主簿沛郡刘敬文、祭酒鲁郡孔胤秀，心怀叵测，他们看到宋文帝长期卧病在床，就都认为一旦宋文帝驾崩，应该册立年长之人为帝，言外之意就是废黜太子刘劭，拥立刘义康为帝。一次，宋文帝进入弥留之际，传召司徒刘义康入宫准备顾命诏书，从宫内出来后，刘义康回到朝廷，流着眼泪将皇帝的情况告诉了刘湛和殷景仁。刘湛听了，脱口说道：“天下艰难，岂能是年幼之主所能驾驭！”刘义康和殷景仁都默不作声，而祭酒孔胤秀等人私自到尚书省典礼司索取东晋成帝去世后弟弟康帝继位时的法令，对此，刘义康并不知情。然而，宋文帝又一次从死神的手里挣脱了出来，痊愈后的他略微听到了这一消息，可想而知，宋文帝内心会怎么想？与此同时，刘斌等人认为朝廷大权在宰相一身，而宋文帝身体虚弱，即使侥幸痊愈，难保不会再次出现危险，于是，他们相互结为朋党，如果与他们不同心的，必定要造谣陷害，加以惩处；他们也知道刘湛与殷景仁不和，不仅不从中调解，相反还经常捕风捉影，故意制造矛盾，向刘湛报告，从此，以刘湛与殷景仁之间的矛盾为明线、以宋文帝与刘义康主相之争为暗线的斗争，愈演愈烈，双方再无和解的可能。

刘义康想提拔刘斌为丹阳尹，先向宋文帝汇报说刘斌家境贫寒，还未说完，宋文帝已经知道他的用意，就说：“让他当吴郡太守。”宋文帝用了何尚之为丹阳尹，何尚之的女儿嫁给了刘湛的儿子刘黯，但两个亲家关系却不好。后来，会稽太守羊玄保请求内调，刘义康又想让刘斌接替，他向宋文帝报告说：“羊玄保想回京，不知用谁当会稽太守合适？”当时宋文帝并没有决定人选，仓促之间说：“我已经用了王鸿。”

从元嘉十六年的秋天开始，宋文帝刘义隆就不再驾临刘义康的私宅了。