张学良说：“当初宋子文和戴笠对我说，委员长希望你休息几年，派刘乙光来保护你们。你尽可以在屋子里看书，也可以到外边去散步、打球、游泳、钓鱼。刘乙光不得限制你们。但是十多年来，刘乙光把我看成是江洋大盗，惟恐我越狱逃跑，又怕我自杀，处处限制我，给我难堪。不管我受得了受不了，他要怎么干就怎么干。实在做得太过份了。我们一到台北，陈仪主席陪我们到这里，他当着刘乙光的面对我们说，这个地方是委员长来电要我找好的。陈仪交待刘乙光说，光线好的房间，给张汉卿住。刘乙光当时满口答应了，但是陈仪走后，一转眼间，刘乙光就变了卦，他们夫妻儿女们竟占住了我现在住的几间，硬叫我和四小姐住在那边屋。还有什么可说的呢？我只好忍了，幸而不几天陈仪又来看我，他觉得刘乙光做得不对，叫他把那几间房子让给我住，唉。”
“我们初到台湾来的时候，身边有几位下女。那是陈仪让雇来照顾四小姐的，可是不几天就让刘乙光给打发走了。十几年来，蒋夫人和亲友们不时会给我和四小姐送来一些东西，可是也让刘乙光夫妇给苛扣了。他们有的时候只截留了一部分，有时候会全部截留，与来信上所写的对不上数。刘乙光公开大胆地这么干，被我们发觉了，他仿佛像没有这回事一样，毫不在乎。我怕为了这些事和他闹翻了，更加受罪。所以只好默不作声。我们每次吃饭的时候，刘乙光一家七口，大的十几岁，小的一两岁，都同我们在一桌。他们吵吵嚷嚷地抢着吃，这叫人不值得一谈。可是搞得太脏了，我和四小姐几乎每顿都吃不下去饭。刘乙光的老婆还指桑骂槐地骂小孩子，实际她是在骂四小姐。可好，现在你来了，刘乙光一家人暂时离开了，我们也可以吃几天清爽饭了。你看这样好的菜，难道是专为刘乙光一家人准备的吗？这些，十几年了，我都向谁说去？”
这就是刘伯涵所说的“张严佛说张先生对我们弟妹们的同桌吵嚷感到不快”的由来。
这些事情，是不是可以这样理解：
第一，张学良说的这些情况，肯定曾经发生过，特别是刘乙光的精神病太太对张学良、赵四造成的伤害，的确是我们局外人所难以想象的。但是，关于刘乙光的孩子们，确实如刘伯涵所说，与张的关系非常好。
据张学良在1937年12月25日（就是他驾车与火车赛跑，结果撞了人的那一天）的日记记载：“刘乙光两个孩子来看爸爸”，那么从这时算起，张与刘的家人相处已经近十年了。时间能改变一切，即便双方有什么深仇大恨，天天朝夕相处，也处出感情来了。况且，张可能是因为自己的孩子不在身边，所以特别喜欢刘乙光的孩子，从他的日记中、心中，许多地方都能看出那种长辈对少年人的慈爱。
在张学良给赵四的一封信中，张说：“今晨黄玄又送来公家买的月饼和水果。你跟细蛮子、小胖子（都是刘乙光的孩子）他们说，叫他们快点上山，我借他们的肚子用一用，把这些替我装进去。”
即便是刘乙光的精神病太太，与张学良、赵四的关系，也绝非不共戴天。
1957年1月5日，张学良写：“刘太太明日返台北，我把买的一本日记送给了刘淑慈交她带给他。这几天，因刘太太在这块儿，弄吃的，又吃的多了些。”
从文中看，显然是因为刘太太从台北来了，张学良令厨房做了很多好吃的，结果自己也吃多了。临行，张学良又买了一个日记本让刘太太送给刘乙光的女儿、在台北上学的刘淑慈。
1月29日，张学良写：“请刘家全家吃年饭，吃了蒋夫人送来的香槟酒，大家开洋荤，又吃了老莫送来的维士克，欢宴一番，真有过年情趣。”
1957年的春节是1月31日，刘乙光全家都来陪张学良过春节。张很高兴，请他们吃饭，并拿出宋美龄送的香槟和莫德惠送的威士忌来待客。从张学良所说的“欢宴一番，真有过年情趣”来看，他是真的很高兴。
2月4日的日记：“抖了一天湖南跑胡，亦圣人之训乎，一笑。……年已过完，等刘太太他们去后，要努力写述。”
2月4日是“破五”，张学良玩了一天。“跑胡”是我老家湖南常德的一种牌，似乎多少有点像麻将（之所以说“似乎”，是因为笔者并不会玩这个牌），这个牌并不普及，东北人张学良之所以会玩，显然是因为长期与湖南人刘乙光一家相处才学会的。
这时张学良已经开始写他的回忆录《杂忆随感漫录》，所以张感慨说“年已过完，等刘太太他们去后，要努力写述”，
第二，既然彼此基本上跟一家人一样，那么，每一个家庭所可能发生的一切，在张、刘之间就都可能发生，况且，刘本身就承担着“看守”的特殊使命，再加上他的精神病太太，彼此之间不可能没有矛盾，否则倒奇怪了。
这些不愉快、甚至委屈，平常可能不说，可能忍了。问题在于，现在张毅夫来了，而这个人是一个可以无话不谈的朋友，张学良憋了这么多年，可以想象当时肯定是千言万语、千愁万恨一起涌上心头。在这种情况下，同样可以想象，张学良所要说的，肯定不会是这么多年来，“幽禁”的生活有多么幸福。况且，以张学良的身份地位、以张学良之心高气傲、以三十多岁的英年，一关就是十年，他心里有多少话要向人倾诉，可想而知！
要说张学良够不错的了，从三十多岁关到七、八十岁，居然还能能活到百岁！换个人，窝囊也窝囊死了！
张毅夫的回忆，是比较早地披露张学良生活情况的一个材料（另一份材料是张治中的回忆），也是许多有关张学良受到刘乙光“虐待”的说法当中，影响比较大的一份。
在张学良与张毅夫的谈话中，还曾经透露了一个更加骇人听闻的事情。