罢黜

1961年，联合国大会讨论蒙古入会案。时任台湾驻美大使的叶公超，审度情势认为“不能再坚持否决立场”，未经请示，直接投了弃权票（蒋介石认为应投反对票）。

10月，蒋介石一纸电文将叶公超紧急召回台湾述职。叶公超接电后当着几个僚属的面说：“何以（蒙古）交涉案已结束，美方立场已明，仍要我回国？”在场某位秘书安慰：“我看是总统要你回去为蒙古案向立法院疏通镇压一番，还有台北新闻界也是很听你的话的……”叶听从了这位秘书的说法，匆匆回台。

僚属曹志源追忆：“大使……只提着一个旅行箱、几件衬衫和领带，匆匆就道，准备三、五天内返任……”传记作者施可诰说叶氏离开时，“双橡园的办公桌都没有整理，提起皮包就飞回来了”。

回台后，蒋介石并没有立即召见叶公超，“到了第三天，只有一个传谕，不必回任所了”。叶公超在临时居停的博爱宾馆“绕室彷徨，足足三日三夜”。

叶公超奉召返台时，距安理会复会日期（10月23日）不到10天，一般人都相信叶公超返台，是携来美国的最后通牒，要不就是台湾召回驻美大使以示决裂了。

而蒋介石急召叶公超返台述职，叶事前完全未得任何警讯征兆。沈剑虹也对叶的突然去职莫名其妙：“究竟出了什么事，有种种揣测。有人说他为了蒙古古进入联合国一案将我国的底牌向美方透露的，又有人说他与美方人士谈话时批评我们执政党的，又有人说他开罪了某些权贵的，但究竟实情如何，别人无法知道。”

有一种说法称，有人在蒋介石面前“进谗言”，说叶公超在谈话中有对蒋不敬的语气，蒋听闻后大发雷霆，立即将其罢黜。当叶公超被召回台湾后，蒋并没有及时召见他，但不准他再返回美国，等于变相地将其软禁在台湾。张群在蒋身边多年，知蒋很深，他告诫叶公超“凡事要听话”。

李朴生写道：“据台北消息灵通人士说，公超先生之被黜，不是因其报部公文有引述鲁斯克对元首不敬之语句，而是被某公密告其人谈话中有对元首不敬的语气，以致蒋先生大发雷霆，立予罢黜。”

台湾大溪档案中存有一份机密的蒋介石档案，这份档案显示，蒋介石曾在官邸秘密接见驻美大使馆文化参事曹文彦，曹详述叶公超在美各种“反动言行”，经查证之后，蒋挟怒逼迫叶“自请辞职”。

曹文彦密报的内容主要为以下几个方面：一、叶公超可能借着私底下聊天时，曾谈及蒋介石青年时代于上海炒股失败，以及广州嫖妓之荒唐事。后叶得知陈立夫正在写回忆录，遂借机表示，陈应该记录这两桩丑事。二、叶公超在双橡园大使馆官邸宴客时，经常于席间模仿蒋介石以宁波口音讲话神情，以娱兴嘉宾。三、身为大使，叶公超却语出惊人，曾有“我虽非全心拥护岛上蒋介石政府”的言论。四、叶公超曾以英文说：“In America no one whole-heartedly support the government,Chang Kai Shek is nobody-a dog!”（在美国没有人全心全意支持政府，蒋介石不是人，是一条狗。）五、叶公超每日上班时间仅只四小时，还与经济参事王蓬及总领事等人在大使馆豪赌。

10月20日，叶公超返台后第6天，美国总统肯尼迪在华盛顿发表声明，宣称美国强烈反对中华人民共和国参加联合国或联合国所属的任何机构，强调“中华民国政府合法地在联合国中代表中国”。不久，叶公超被免除大使职务，调任行政院政务委员。

陈香梅为叶公超之事，曾找过张群。张算得上是蒋介石最亲信的人，他的回答，这事办不来了，连宋美龄向蒋劝说都无效，还有谁能说话。

赵世洵后来问叶公超外蒙案之事，叶对他解释道：“蒋先生是反对外蒙入会的，我是主张外蒙入会；蒋先生表示要向今后历史负责，责备我同鲁斯克一个鼻孔出气，问我‘是做美国的大使还是做中华民国的大使？’我向蒋先生晋言：‘我们在外交上愈来愈孤单，朋友愈来愈少，会影响我们今后在国际上的生存。’但蒋先生要向历史负责，坚持汉贼不两立的原则。今天你可以看出我们在外交上更孤单了……”

1962年，叶公超出任台北故宫、“中央博物院”管理委员会常务委员。1976年任国语词典指导委员会主任委员。1977年，叶公超受聘“总统府资政”，国民党中央评议委员等虚职。

羁困

叶公超被免去驻美大使职务后不久，被任命为政务委员，实际上形同软禁。一次，老友蔡孟坚来看叶公超，叶说：“你虽然被（蒋）经国摘了纱帽，但社会舆论很同情你，好在与老先生（蒋介石）有深远历史，否则，你如我一样，不准步出国门，让你出国乱跑。”蔡说：“你已有一政务委员高职，足以安慰。”叶公超说：“我此时有‘务’而无‘政’的空名义。”蔡不解此意，叶公超愤然解释：“身边有‘特务’，‘政事’不准问。”还补充说：“行政院会议时，只有我一人小便，有人随同‘保护’。”

赋闲之后的叶公超曾到台大和台师大兼任教授，讲授“现代英美诗”。台下听者如云，他感慨道：“还是文人最自由。”然而不久，有关方面便来干涉，向校方施加压力。叶的课只匆匆上了一个学期，便被迫收场。

在叶公超生命的最后20年里，虽有“行政院政务委员”、“总统府资政”之类的虚衔，实际上已无政可问，如他自己对一位老友说的：“政府对用过的老人不准备再用。”

1964年，费正清访问台湾，和叶公超见了一面，费回忆说：“我们在北京时期的老朋友叶公超……被羁留在台北任内阁中的不管部部长。……这一次，他带着我们乘火车到台中去参观存放在那里的故宫的艺术珍藏。当时拉里•西克曼正在那儿对这些东西拍照。我们住在台湾第一银行的招待所里，碰到了许多企业家，叶公超认为他们将来会给台湾带来一些希望。在访台期间能和这样一位难得的朋友在一起，真是一件幸事。”

1977年，费正清再度造访台湾时，蒋介石已不在人世。“在台北最使我们感到高兴的是再次会见前任外交部长叶公超，他依旧是一个性格坚强的人，仍然牢牢地坐在政务委员的位置上，他喜欢孤独，然而却奉命去处理预算问题。他外出时，秘密丨警丨察跟踪他；当他住院时，蒋经国却莅临探望——一种对最高级天才的奇怪的愚弄。”

被困台湾，不准去美国和亲人团聚，成为叶公超晚年最大的痛苦之一。他说：“我会被困死在这个岛上。”直到1977年12月，有人向蒋经国进言：“现在要修订侨教标准课本，要与美国侨教主持人及大学中文研究所会商检讨修订，可否派年事已老而学养丰富的叶公超出国作为代表，既可消除他多年的沉闷，又可让他与美国老友见见面，藉以证明我政府开明作风。”蒋经国当即表示：“只要担保他按时返国，似无不可。”叶公超因此才有机会再次踏上美国那块自己熟悉的土地。

叶公超到了美国，时在美国的蔡孟坚打电话要去拜访，他直言：“我这次能来，等于火烧岛犯人的早晨‘放风’，必遵限期归国，否则，担保人受连累。请你不要费车程一二小时来看我，有话返台湾面谈。”