林语堂非常恼火，立即向赛珍珠清算版税，索取版权。按美国的出版法，出版商要向著作者支付百分之十的版税，而赛珍珠出版他的著作都是给的百分之五的版税。赛珍珠拒绝林语堂清算版税收回版权的要求，打电话给林语堂的二女儿林太乙说：“你的父亲是不是疯了!”
没有得到版税，林语堂请律师打官司，要与赛珍珠对簿公堂。经朋友调解，约翰•黛公司才将其著作的版权归还给林语堂。
1954年10月，林语堂应邀去新加坡出任南洋大学校长，曾打电报向赛珍珠告知行期，赛珍珠不仅没有前来送行，连电报也没回。对于此，林语堂说了一句话；“我看穿了一个美国人!”
1955年，林语堂写了《远景》一书，交由另一家出版社出版。从此，林语堂与赛珍珠的关系完全破裂。
婚恋
林语堂的初恋是青梅竹马，一个叫“橄榄”的女孩。“橄榄”本名赖柏英，是山里的女子，她的母亲是林语堂母亲的教女，初次见面，赖柏英的母亲按照传统辈份的观点，让她叫语堂“五舅”。林语堂那时候又小又瘦，个头和柏英差不多。小赖柏英不高兴了，撅起嘴来，坚决不肯叫。林语堂本想板起脸，装装“五舅”的大人样，可瞅见柏英委屈的模样，忍不住了，哈哈大笑。因为赖柏英的脸偏瘦，活脱脱一个刚成熟散着甜香的橄榄，林语堂便叫她“橄榄”。
儿时他们常在山间一起玩，林语堂曾用圣经上的一句话形容过赖柏英赤足的样子：“她的脚在群山间，是多么美丽！”
但是由于林语堂想出国留学，而赖柏英不愿意离开自己的家乡，所以他们分手了。
林语堂从未忘记他的初恋，而柏英赤着足奔跑在草地上的情景成了林语堂永不能割舍的“情结”，赞美赤足之美成了他的偏好。他专门写了篇《论赤足之美》，他说：“要是问我赤足好，革履好，我无疑地说，在热地，赤足好。……赤足是天所赋予的，革履是人工的，人工何可与造物媲美？赤足之快活灵便，童年时快乐自由，大家忘记了吧！步伐轻快，跳动自如，怎样好的轻软皮鞋都办不到，比不上。至于无声无臭，更不必说。”
在圣约翰大学上学时，林语堂和厦门的陈希佐、陈希庆兄弟交好。也由此认识了他心仪的第二位女子，陈氏兄弟的妹妹陈锦端。锦端的父亲陈天恩早年追随孙中山先生，讨袁战争失败后，一度逃往菲律宾。回国后，陈天恩大兴实业，创办了造纸厂、电力厂、汽车公司等，是厦门数一数二的巨富。陈家笃信基督教，陈天恩还是基督教竹树堂会长老。
林语堂对陈锦端一见钟情，而陈锦端也心仪林语堂，二人很快坠入爱河。放暑假时，二人各自回到了各自的家中。林语堂一刻也离不开心上人，几次三番跑到厦门，说是要探望希佐兄弟，其实就是为了看看锦端。在学校，陈锦端总是和他有说有笑，回家后，她却躲进房间，怎么也不肯出来。林语堂还以为少女怀春，多半是羞于见人的，所以也没有放在心上。
林语堂经常造访陈家，经验丰富的陈天恩早就看出来，语堂不是来看陈氏兄弟的，而是要追求他的长女。他想起别人说过的荒唐布道，好像就是林语堂。陈天恩那时已经为锦端物色了一个名门大户的子弟，就要谈成了。他认为林语堂虽然聪明，但不虔诚地信仰基督教，家庭出身也不好，他的宝贝女儿可不能托付给这种人。陈天恩对陈锦端表明态度，最后迫使她同意，再也不见林语堂。另一方面，陈天恩把语堂叫过来，说，隔壁廖家的二小姐（旧时林语堂后来的夫人廖翠凤）贤惠漂亮，他愿意做媒，保准成。
林语堂马上明白了陈天恩的意思。他觉得受到了极大的侮辱，垂头丧气地回到坂仔。大姐林瑞珠知道事情的原委后大骂语堂：“你怎么这么笨，偏偏爱上陈天恩的女儿？你打算怎么养她？陈天恩是厦门的巨富，你难道想吃天鹅肉？”大姐的话把林语堂从梦幻中拉到了现实。就这样，林语堂的第二次恋爱还没有步入高丨潮丨就戛然而止了。
陈锦端一直占据林语堂心里的某个角落，历久而弥新。据林语堂女儿林太乙回忆：父亲对陈锦端的爱情始终没有熄灭。我们在上海住的时候，有时锦端姨来我们家玩。她要来，好像是一件大事。我虽然只有四五岁，也有这个印象。父母亲因为感情很好，而母亲充满自信，所以不厌其详地、得意地告诉我们，父亲是爱过锦端姨的，但是嫁给他的，不是当时看不起他的陈天恩的女儿，而是说了那句历史性的话：“没有钱不要紧”的廖翠凤。母亲说着就哈哈大笑。父亲则不自在的微笑，脸色有点涨红。我在上海长大时，这一幕演过很多次。我不免想到，在父亲心灵最深之处，没有人能碰到的地方，锦端永远占一个位置。
80岁的林语堂口述《八十自述》，草草提了几句：“我从圣约翰回厦门，总在我好友的家逗留，因为我热爱我好友的妹妹。”
林语堂每次画少女，总是长长的头发，用一个宽大的发夹别着。林太乙问他，为什么总是这副打扮？林语堂回答，这是他第一次见锦端时她的打扮。
林语堂说：“吾所谓钟情者，是灵魂深处一种爱慕不可得已之情。由爱而慕，慕而达则为美好姻缘，慕而不达，则衷心藏焉，若远若近，若存若亡，而仍不失其为真情。此所谓爱情。”到晚年，林语堂晚腿脚不便，常年坐在轮椅上。有一回，陈希庆的太太来看他。语堂又问起了陈锦端，陈夫人告诉他，锦端还住在厦门。语堂激动地站起来，推着轮椅要出门，“你告诉她，我要去看她！”他的妻子廖翠凤急了，“堂，你在说什么瞎话！你不能走路，怎么去厦门！”数月后，林语堂就溘然长逝了。
陈天恩 “棒打鸳鸯”后为了安抚年轻气傲的林语堂，他安排了语堂和邻居廖悦发家的会面。廖家也是大富之家，虽然比不上陈天恩，可在厦门也有自己的钱庄和房产。廖悦发是个十分传统的旧式家长，脾气很坏，重男轻女，对女儿的教育十分严厉。廖家的女儿从小就要干活，烹饪、洗衣裳、缝纫等都是家常的功课。廖悦发说，这是为了将来到丈夫家能好好过日子。他动辄向妻女大吼大叫，对儿子却百依百顺。廖翠凤是烈性子，看不惯父兄欺负母亲，偶尔也顶上几句，可哥哥们都学会了爸爸的坏习惯，对这个妹妹从不看在眼里，打骂相加。只有二哥暗地里还帮帮她。廖翠凤一心想离开家，结婚是惟一的出路。
林语堂不能拂了陈天恩的面子，于是到了廖家。林语堂并没有见到廖翠凤，因为根据规矩，他们不能相见，只能躲在屏风后面观察他。由于林语堂与廖翠凤的二哥较好，所以林语堂的大名，廖翠凤早就听说过了。她觉得语堂是年轻俊朗，说起话来神采飞扬，一副“舍我其谁”的豪气。二哥又对她说，语堂是个有大好前途的人，嫁给他，一定会幸福的。
林语堂的大姐瑞珠曾经和翠凤同过学，她对父母说，翠凤虽然是在大家庭长大的，可一点娇纵之气都没有，是个朴实端庄的好姑娘；长得也很有福相，高高的鼻梁，圆润的脸庞，人中很长，肯定会成为极其贤惠的妻子。林至诚夫妇听了，也很高兴。他们劝语堂，“娶妻求贤”，才能好好过日子。林语堂没了陈锦端，觉得天都快塌了，父母的决定他没有意见，林至诚就向廖家提亲了。
而廖悦发一向认为嫁出去的女儿，泼出去的水，只要不要娘家养着，嫁给谁都没什么关系。订婚前，廖翠凤的母亲跑到她的房间。母亲担心女儿，苦口婆心地说，语堂是个聪明的小伙子，可是他是牧师的儿子，家里穷，这可是“呷饭的人家嫁给呷糜的人家”，你要想好了！最后一句是厦门俗语，意思是说吃饭的人家嫁给吃粥的人家，会受穷的。廖翠凤有自己的想法：自家还算殷实，可父亲对母亲有哪点好了，这和受穷不是一样难熬吗？她斩钉截铁地对母亲说：“没有钱不要紧！”
于是林语堂和廖翠凤就这样订婚了。
林语堂和廖翠凤结婚之前，他的父亲林至诚很是高兴，因为林语堂娶了个钱庄家的女儿，还要到大名鼎鼎的哈佛大学留洋。林父常捋着胡子，笑眯眯的，逢人就说：要大顶的花轿，新娘子是胖胖的哟！不知哪个好事之徒把这话传到了廖翠凤的耳朵里，气得她立刻吃了好几片泻药减肥。
结婚当日，当着众宾客的面，林语堂拿出婚书，对新婚的妻子说：“我把它烧了！婚书只有在离婚的时候才有用，我们一定用不到。”举座哗然。这纸婚书果然没有用到。林语堂和廖翠凤相亲相爱，白头偕老，造就了一段半个多世纪的金玉良缘。
林语堂是读书人，有着读书人的多愁善感，有时情绪激动，见残月感怀，见落花伤心。廖翠凤对除林语堂以外的一切艺术家都抱着钱庄女儿的怀疑。邋遢的画家、长发的诗人、街头卖唱的流浪艺人，她一概觉得是精神病的同义语。两人到雅典卫城参观。庄严肃穆的古城墙，深蓝幽静的爱琴海，林语堂对人类的巧夺天工和大自然的奇妙高唱颂歌，而廖翠凤捶捶酸疼的小腿，不屑一顾地说：“我才不要住在这里！买一块肥皂还要下山，多不方便！”语堂哑然失笑。