与利令智昏的刘湛相反，殷景仁则选择了退让。

殷景仁之所以如此，自有他自己的道理：一是宋文帝的身体情况是个明摆着的客观事实，医生多次下了病危通知，谁能预料到宋文帝的寿命？一旦宋文帝驾崩，自己如果还盘踞在高位，前途叵测。二是殷景仁与刘湛之间的矛盾，原本只是两个人之间的事情，但是，自从刘湛投靠彭城王刘义康以后，事情就变得复杂了起来，刘湛与刘义康联手，打乱了宋文帝原来以殷、刘二人制约刘义康的通盘计划，不仅与宋文帝的初衷大相径庭，相反，更增加了宰相刘义康的力量。然而，彭城王刘义康只是基于专权的目的，受到刘湛的蛊惑而排挤殷景仁，还看不出他有直接挑战皇位的企图，因此，宋文帝还需要利用刘义康来支撑朝廷的台面，是不可能彻底与彭城王刘义康摊牌的，在刘义康支持刘湛与自己作对的情况下，如果殷景仁自己一味立于朝堂之上，势必会将宋文帝推到一个十分为难的境地；三、辞职以后，朝廷之上就成了刘义康与刘湛的天下，无形之中会刺激到宋文帝敏感的神经，这样以来，反而会促使宋文帝痛下决心，加速刘义康、刘湛等人的灭亡，因此，殷景仁采取以退为进的办法，韬光养晦，进一步观察宋文帝的取舍，也许是最佳的选择。殷景仁多次上书宋文帝刘义隆，请求允许自己辞去尚书仆射一职，在家养病。

殷景仁身为尚书仆射，是宋文帝安插在刘义康身边的钉子，殷景仁一旦离开朝廷，相权与皇权之间再无一个缓冲地带，将直接发生冲突，因此，殷景仁辞职信一个接着一个，但是，宋文帝只是同意了他在家养病，却始终没有同意他辞职，并时常派遣黄门侍郎前往殷景仁府中探病。

殷景仁虽然卧病在家，但依然掌握着朝廷大权，这让刘湛更加愤怒，他与亲信商量派人假扮成强盗，把殷景仁杀死了事，即使宋文帝得知内情，也可以寻找充分的理由辩白，宋文帝也不可能因此与自己的弟弟刘义康反目成仇。然而，没有不透风的墙。宋文帝风闻了此事，就将皇宫西掖门外东晋时期鄱阳公主的府邸，改为殷景仁的护军将军府，因此，刘湛的阴谋未能得逞——宋文帝能够风闻此事，传话的人当然是殷景仁的心腹，那么，殷景仁的心腹又如何能得知这一绝密情报呢？这事就很蹊跷了，这也未必不是殷景仁所编排的弥天大谎……

到元嘉十二年（公元435年），刘宋朝廷早已俨然出现了两个势不两立的朋党，一个是刘义康、刘湛一党，另一个则是殷景仁一党。刘义康的下属和一帮刘湛的追随者都不约而同地约定，无人登殷景仁之门。刘义康的主簿刘敬文的父亲刘成，政治敏锐性不强，曾前去拜见尚书仆射殷景仁求官，刘敬文听说后，匆匆忙忙去刘湛那里谢过说：“我的老父老糊涂了，竟然去殷景仁那里求官，这全都是因为我愚钝之故，我们全家都为此感到又羞又愧，无地自容。”只有后将军司马庾炳之与殷景仁、刘湛二人关系都很密切，他照样行走于两人之间，两人对他都不错，而他的内心却站在朝廷的一边。殷景仁卧病在家，从不上朝，宋文帝就让庾炳之去殷景仁家传递消息，刘湛也不怀疑。庾炳之，字仲文，是庾登之的弟弟，均为庾冰的曾孙，庾登之与谢晦同为曹家的女婿，谢晦之乱后，庾登之被免官，元嘉五年被任命为衡阳王刘义季的征虏将军长史，后为司徒左长史，而庾炳之是始兴王、后将军、湘州刺史刘濬（宋文帝第二子，元嘉十三年八岁时封王）的司马。庾登之、庾炳之兄弟二人性格都比较刚强，刘义康一手遮天，在处理政事上不容他人插嘴，而庾登之往往陈述自己的意见，逐渐引起了刘义康的不满，将其贬为吴郡太守。担任始兴王刘濬司马的弟弟庾炳之，因刘濬年纪尚小，始兴王府事务也不多，他就充当了宋文帝与殷景仁之间的牵线人。