罢黜
1961年，联合国大会讨论蒙古入会案。时任台湾驻美“大使”的叶公超，审度情势认为“不能再坚持否决立场”，违背蒋介石的意愿，投了弃权票(蒋介石认为应投反对票)。
因为外蒙加入联合国问题，叶公超成为美国与蒋介石之间的受气夹板。蒋尽管碍于美国的面子，勉强同意弃权，却将这口气撒在叶公超的头上。10月，蒋一纸电文将叶公超紧急召回台湾“述职”。叶公超接电后当着几个僚属的面说：“何以(蒙古)交涉案已结束，美方立场已明，仍要我回‘国’？”在场某位秘书安慰：“我看是‘总统’要你回去为蒙古案向‘立法院’疏通镇压一番，还有台北新闻界也是很听你的话的……”叶听了这位秘书的说法，信以为真。
叶公超匆匆回台，僚属曹志源事后追忆：“大使……只提着一个旅行箱、几件衬衫和领带，匆匆就道，准备三、五天内返任……。”传记作者施可诰说叶氏离开“大使馆”时，“双橡园的办公桌都没有整理，提起皮包就飞回来了。”叶后两任的“驻美大使”沈剑虹，则说：“一九六一年公超先生回‘国’述职，就未再返任所，他留在‘大使馆’以及双橡园官舍的衣服书籍等物，均由他的秘书朋友们替他收拾转运回‘国’……”
回台后，蒋介石并没有立即召见叶公超，“到了第三天，只有一个传谕，不必回任所了”。叶公超在临时居停的博爱宾馆(警总对面)“绕室彷徨，足足三日三夜。”。
传说，蒋介石后来召见叶公超，叶跟蒋顶嘴：“别的您懂，外交您比不上我懂!”
叶公超奉召返台时，距安理会复会日期（10月23日）不到10天，一般人都相信叶公超返台，是携来美国的最后通牒，要不就是台湾召回“驻美大使”以示决裂了。
而蒋介石急召叶公超返台述职，叶事前完全未得任何警讯征兆。连侧身“外交”事务核心的沈剑虹，也对叶的突然去职莫名其妙：“究竟出了什么事，有种种揣测。有人说他为了蒙古古进入联合国一案将我‘国’的底牌向美方透露的，又有人说他与美方人士谈话时批评我们执政党的，又有人说他开罪了某些权贵的，但究竟实情如何，别人无法知道。”
缘由
有一种说法，有人在蒋介石面前“进谗言”，说叶公超在谈话中有对蒋不敬的语气，蒋闻后大发雷霆，立即将其罢黜。当叶公超被召回台湾后，蒋并没有及时召见他，但不准他再返回美国，等于变相地将其软禁在台湾。张群在蒋身边多年，知蒋很深，他告诫叶公超“凡事要听话”。
李朴生的《关于叶公超被免‘驻美大使’职事》一文称：“据台北消息灵通人士说，公超先生之被黜，不是因其报‘部’公文有引述鲁斯克对‘元首’不敬之语句，而是被某公密告其人谈话中有对‘元首’不敬的语气，以致蒋先生大发雷霆，立予罢黜。”但李朴生先生的文中，并未交代叶公超到底讲了什么对蒋介石不敬的话，也未言明究竟是何人告的密。
台湾大溪档案中一份极机密的蒋介石档案，这份档案显示，叶公超遭削官罢黜，其实是被曾任“驻美大使馆”文化参事曹文彦，从美国秘密参了一本。为此，蒋介石曾在官邸秘密接见曹文彦，曹详述叶公超在美各种“反动言行”，经查证之后，蒋介石挟怒逼迫叶公超“自请辞职”。
这份密报上方至今还留有蒋介石侍从室机要秘书写的附注：“曹文彦报告”五字。而密报的起头标示主题为“据曹君函中所述如下”，蒋介石接阅这份密报文件时，似为防止密报人的姓名外泄，还特地以他惯用的红铅笔，把“据曹君函中所述如下”这几个字划去，在旁边修改为“某君报告”。蒋介石在阅读这份密报时，在密报的字句旁边，曾详加圈点眉批。
曹文彦密报内容可以归纳几个方面：
其一、叶公超可能借着私底下聊天时，曾谈及蒋介石青年时代于上海经商(炒股票)失败，以及广州嫖妓之事。后叶得知陈立夫正在写回忆录，遂借机表示，陈立夫该写这两桩丑事。密报特地标注，“此为立夫面告曹君者”强化密报的可信度。
其二、密报指叶公超在双橡园“大使馆”官邸宴客时，经常于席间模仿蒋介石以宁波口音讲话神情，以学蒋介石讲话，娱兴嘉宾。在“彼于双橡园‘大使馆’官邸宴客时，每效钧座谈话，刻画乡音”这段字句旁边，蒋特意以红铅笔加注圈点及双引号。
其三、驳斥“台独”言论。本为“大使”，叶公超却语出惊人，道出“我虽非全心拥护岛上蒋介石‘政府’”的言论。
其四、曹文彦密报中指叶氏以英文说，“In America no one whole-heartedly support the government,Chang Kai Shek is nobody-a dog!”（在美国没有人全心全意支持政府，蒋介石不是人，是一条狗。）密报为称此语为当时“驻美使馆”文化参事处处长颜絜密告。
其五、叶公超常在办公室放言辱骂“国民党是臭的。”并有“深鄙其为人”的华府人士郭鸿声可为之证。
其六、叶公超每日上班时间仅只四小时，还与经济参事王蓬及“总领事”等人在“大使馆”豪赌。
其七、为避人耳目，这份密报是曹文彦与“驻美公使”朱抚松，在芝加哥密商后，躲藏于波士顿一家旅馆中完成写作的。
曹文彦的这份密报，以及叶公超在外蒙案中的表现，大概是叶公超被免职的原因。
10月20日，叶公超返台后第6天，美国总统肯尼迪在华盛顿发表声明，宣称美国强烈反对中华人民共和国参加联合国或联合国所属的任何机构，强调“中华民国政府合法地在联合国中代表中国”，美国一直认为“中华民国”是唯一代表中国的“合法政府”，且一直全力支持“中华民国”在联合国内的地位与所有权利。肯尼迪的声明，虽然并未看出此项声明与“外蒙案”有何重大直接关系，但从台湾“外交部”郑重其事地发表书面谈话，对肯尼迪声明表示“欢迎”等等动作看来，“外蒙案”的僵局似乎有了松动迹象。台湾决定“对外蒙不使用否决权”。不久，叶公超被免除大使职务，调任“行政院政务委员。
叶公超的知己陈香梅和张群是忘年交，为了叶公超的事陈香梅曾找过张。张算得上是蒋介石最亲信的人，他的回答是，这事办不来了，连宋美龄向蒋劝说都无效，还有谁能说话，并问陈香梅懂不懂。
1962年，叶公超出任台北故宫、“中央博物院”管理委员会常务委员。1976年任国语词典指导委员会主任委员。1977年，叶公超受聘“总统府资政”，国民党中央评议委员。