这项研究来自卡内基梅隆大学语言技术研究所，发表于2024年的自然语言处理顶级会议ACL（计算语言学协会年会）。论文编号为arXiv:2406.08816，感兴趣的读者可通过该编号查询完整论文。
你有没有过这样的经历：和一个不太熟悉你的人说话，对方把你的反问当成真诚的提问，把你的夸张当成字面意思，然后你就只能尴尬地笑笑，心里默想"算了，解释起来太麻烦了"。
现在的AI助手，其实也有同样的毛病。你跟它说"这道菜真是绝了"，它不知道你是在夸还是在讽刺。你说"哦，太棒了，又加班"，它可能真的以为你很开心。这背后藏着一个让自然语言处理领域研究者头疼了很多年的核心难题：**语用理解**——也就是让机器不仅能读懂词语的字面意思，还能真正体会说话人的言外之意。
卡内基梅隆大学的研究团队正面迎击了这个难题。他们构建了一个叫做 **PRAGMA** 的系统性评测框架，第一次把人类语言中那些"弦外之音"整理得清清楚楚，并用这套框架对当下最主流的大型语言模型展开了一场全面体检。结果发现，那些平时看起来无所不知的AI，在"读懂言外之意"这件事上，其实还差得远呢。
一、语言里的"潜台词"，到底有多复杂？
人类的语言从来不是只说表面意思的。一个简单的"你吃了吗"，可能是真的在问你有没有吃饭，也可能只是打招呼的方式。你的老板说"这个方案还不错嘛"，你得琢磨他到底是真的满意，还是在委婉地说"你回去再改改"。这种藏在话语背后的真实意图，语言学家管它叫**语用意义**（pragmatic meaning）。
可以用一个生活场景来理解这件事。假设你和朋友约好下午三点见面，结果你迟到了二十分钟，对方见到你说："哟，您可算来了，真守时啊。"这句话的字面意思是在夸你守时，但你一听语气就知道，对方其实是在表达不满，带着明显的讽刺。这里面发生了什么？你的大脑在零点几秒内完成了一系列判断：对方说的话和事实矛盾（你明明迟到了）、语气有点奇怪、结合场景推断对方真实意图……然后你就"读懂"了言外之意。
对人类来说，这一切几乎是无意识的、自动完成的。但对AI来说，这是一个巨大的挑战。因为大型语言模型（简单来说，就是那些能和你聊天的AI，比如GPT-4、Claude等）的工作方式，本质上是在海量文字中学习词语的统计关联。它们非常擅长"说像人话的句子"，但在真正理解人类语言中那些微妙的、依赖情境的含义上，它们的能力远没有表面看起来那么强。
正因如此，卡内基梅隆大学的团队认为，现在迫切需要一套科学的工具，来系统地测量AI在理解语用意义上的真实水平。PRAGMA就是在这个背景下诞生的。
二、给AI出一套"读心术"考卷——PRAGMA框架的设计逻辑
PRAGMA这个名字本身就是"语用学"（Pragmatics）的缩写，这套框架的核心任务是：把人类语言中各种"话里有话"的现象系统整理出来，变成可以量化、可以测试的题目，然后拿去考AI。
研究团队在设计这套框架时，面临的第一个挑战是：语用现象到底有哪些？语言学家几十年来研究了大量相关理论，但这些理论分散在不同的学派和文献里，从没有人把它们统一整合成一个可操作的测评体系。研究团队做的第一件事，就是这种"大扫除"式的整合工作。
他们最终把语用理解能力分成了**五大核心维度**，每个维度对应人类日常语言使用中的一类特定现象。
第一个维度是**预设**（Presupposition）。预设指的是一句话背后默认成立的前提。比如你问别人"你最近还在健身吗"，这句话本身预设了对方之前曾经健身。如果这个前提不成立，整个问题就有问题了。AI能不能识别出一句话背后的这些隐藏前提，是理解人类语言的基础能力之一。
第二个维度是**含义**（Implicature），这是语用学中最经典的概念之一，由哲学家格莱斯提出。含义指的是说话人通过字面意思之外传递的信息。回到前面迟到的例子，"您可算来了，真守时啊"的字面意思和实际想表达的意思完全相反，这就是含义在起作用。
第三个维度是**言语行为**（Speech Acts）。这个概念很有意思：语言不只是描述世界，它本身就是一种行动。当你说"我保证明天准时到"，你不只是在陈述一件事，你实际上在执行一个"承诺"的行为。当老师说"请安静"，这是一个命令而非描述。AI能不能识别出一句话背后的行为意图，对于理解人类交流至关重要。
第四个维度是**指代消解**（Reference Resolution）。人类说话时经常用"他""它""那个"之类的词来指代之前提过的事物，而这种指代在不同语境下会有完全不同的含义。"小明告诉小红他生病了"——这里的"他"到底指小明还是小红？很多时候人类可以通过上下文轻松判断，但AI就经常搞混。
第五个维度是**语境依赖**（Context Dependence），这是最宏观的一个维度，强调语言的意义在根本上依赖于使用的场景、说话人的关系、文化背景等因素。同一句话放在不同场合，意思可能天差地别。
这五个维度共同构成了PRAGMA的理论骨架。理解它们就像掌握了解读人类语言的五把钥匙——少了哪一把，都没法真正推开那扇"言外之意"的大门。
三、题目怎么出？数据从哪来？
有了理论框架，下一步是把它变成真实可用的测试题目。这是整个研究中工程量最大的一部分，也是PRAGMA区别于以往类似研究的关键所在。
研究团队没有走"让AI自己出题"的捷径，而是采用了一种严格的**人工标注与专家审核相结合**的方式来构建数据集。他们从真实的语言使用场景出发，收集了大量日常对话、文学作品片段、新闻文本等来源的语料，然后由经过专业训练的标注人员对每条数据进行细致的语用层面标注。
每一道题目的设计都遵循一个基本原则：题目必须确实需要语用推理才能回答，而不能光靠词语的字面意思就得出答案。这听起来简单，但实际上极难把握。研究团队为此设计了一套严格的筛选机制，专门剔除那些"看起来像语用题，但其实查词典就能做对"的伪语用题。
最终，PRAGMA数据集包含了**数百道精心设计的多项选择题**，覆盖上述五个维度，每道题都提供若干选项，其中只有一个正确答案。题目的设计参考了人类在真实生活中遭遇语用歧义的场景，确保每道题对应的都是真实存在的语言理解难点。
为了验证这套数据集的质量，研究团队还专门邀请人类志愿者来做同样的题目，以此建立一个**人类基准线**——也就是说，先搞清楚人类在这套题目上能考多少分，再去对比AI的表现。这个设计非常关键，因为它给了我们一把尺子：不是说AI做对了多少题就算好，而是要看AI和人类之间的差距有多大。
四、考试开始：主流大模型的真实成绩单
拿着这套精心设计的考卷，研究团队对市面上多个主流大型语言模型展开了测试，包括GPT-4、GPT-3.5、Claude系列、LLaMA系列等当时最具代表性的模型。
整体结果可以用一句话来概括：**所有被测试的AI，表现都显著低于人类水平，而且在不同维度上的差距有明显规律。**
在人类志愿者参与测试的结果中，人类平均准确率达到了相当高的水平，不同维度上的表现较为均衡，体现了人类语用理解能力的整体性和鲁棒性。相比之下，即便是表现最好的GPT-4，整体准确率也和人类有着肉眼可见的差距，而较弱的模型差距则更为明显。
拆开来看每个维度，差异就更有意思了。在**预设**这个维度上，各个模型的表现相对好一些，这大概是因为预设往往有比较明显的语言标记（比如特定的词汇或句型），模型可以通过统计规律捕捉到。但在**含义**维度上，几乎所有模型都表现欠佳，这正是最考验"读懂言外之意"能力的地方——讽刺、夸张、委婉、间接……这些人类天天在用的表达方式，对AI来说仍然是重重迷雾。
**言语行为**的识别也难倒了大多数模型。机器很难判断一句话到底是在"请求"还是"命令"，是在"道歉"还是"解释"，是在"承诺"还是"陈述"。这些区分对人类来说几乎是本能，但对AI来说需要理解大量微妙的语境信号。
**指代消解**的情况则呈现出有趣的分化：在简单情境下，模型表现尚可；但一旦语境变复杂，或者存在多个可能的指代对象，模型的准确率就会急剧下滑。这说明模型学到的可能更多是表面的统计规律，而非真正的语言理解。
**语境依赖**维度的表现是所有维度中最参差不齐的，不同模型之间的差距也最大。这个维度要求模型能够综合考虑文化背景、说话人关系、交流目的等多重因素，是五个维度里综合难度最高的，也最能体现一个模型的语用理解上限。
五、AI为什么会在这里翻车？背后的深层原因
看到这些结果，你可能会好奇：这些AI模型在知识问答、写作、编程上表现那么厉害，为什么在理解"话里有话"上却这么吃力？
研究团队在分析结果时，对这个问题给出了几个层次的解释。
首先，大型语言模型的训练方式本质上是一种**模式匹配**。它们通过预测"下一个词是什么"来学习语言，这让它们非常善于生成流利、通顺的文字，也能记住海量的知识。但语用理解需要的不只是模式匹配，它需要**推理**——根据说话的场景、说话人的意图、双方的共同知识等因素，推断出那个没有明说出来的意思。这种推理能力，光靠预测下一个词是培养不出来的。
其次，语用现象天生具有**高度的情境依赖性**。同一句"你来了"，在不同场合可以是惊喜、是责备、是中性的陈述。AI模型如果没有被专门训练来感知这种情境差异，就很容易做出"一刀切"的解读，把所有场合的"你来了"都理解成同样的意思。
还有一个更根本的原因：人类的语用理解能力，是在**真实的社会互动**中通过几十年积累形成的。我们从小就在观察说话人的表情、语调、肢体语言，感受不同场合的氛围，体验误解与被误解的尴尬……这一切共同塑造了我们理解言外之意的直觉。而AI的训练数据，主要是大量文字，缺少了这些丰富的非语言信号和真实社会经验的支撑。
六、不同模型的横向比较：谁的"眼力见儿"更好？
在横向比较各个模型时，研究团队的发现也很有参考价值。
GPT-4在绝大多数维度上都领先于其他模型，展示出了当时最强的综合语用理解能力。但即便如此，它和人类水平之间仍然存在不小的差距，尤其是在需要理解讽刺、间接表达和复杂语境的题目上，表现明显下滑。
Claude系列模型表现次之，整体水准与GPT-4接近，但在某些特定维度上有自己的优势和劣势，呈现出与GPT-4不完全相同的"能力轮廓"。
LLaMA等开源模型在整体上落后于上述两类商业模型，但研究团队指出，这些模型在经过适当的微调（也就是针对特定任务进行额外训练）之后，有可能大幅提升在特定维度上的表现。这为后续研究提供了一个重要的方向。
更值得关注的是，研究团队发现**模型规模和语用理解能力之间并不总是正比关系**。也就是说，更大的模型不一定在所有语用维度上都更强。有时候，一个参数量更少但训练策略更有针对性的模型，反而能在某些语用任务上超过体量更大的对手。这说明，单纯堆积模型规模不是提升语用理解能力的灵丹妙药，训练数据的质量和训练目标的设计同样至关重要。
七、这项研究对未来AI发展意味着什么？
PRAGMA框架的意义不只是给现有AI打了一张成绩单，它更重要的价值在于**明确了一个方向**：未来的AI研究应该更认真地对待语用理解这个维度。
研究团队在论文中明确指出，现有的大多数自然语言处理基准测试（也就是用来衡量AI语言能力的各种测试集）严重偏向于测试语义理解（词语和句子的字面意思）而忽视了语用理解（情境中的真实意图）。这就好比只考学生能不能认字、能不能记住词义，却从不考他们能不能理解文章背后的言下之意——这样测出来的分数，很难真实反映一个人的语言能力。
PRAGMA的出现，就是要补上这个缺口。有了这套工具，研究者可以更精准地定位某个模型在语用理解上的短板在哪，从而有针对性地改进训练方式、优化模型设计。
对于普通用户来说，这项研究的影响也许在几年后才会真正感受到。当AI助手能够真正理解你说"今天天气真好啊，结果下了一天雨"是在抱怨而非赞美，能够听出你的反问背后是烦恼还是好奇，能够在对话中随时感知你的真实需求而不是只抓字面意思——那种交流体验，会和现在有质的不同。
这项研究还为学术界提供了一个开放的评测平台。PRAGMA数据集可以被后续研究者用来测试新模型、验证新方法，形成一个可以持续迭代、不断完善的生态。这种"基础设施"式的贡献，往往比一篇只报告某个新模型成绩的论文更具有长远价值。
归根结底，人和人之间能顺畅沟通，靠的不只是认识同样的词、遵守同样的语法规则，更重要的是那种在无数次真实交流中磨砺出来的"社会感知力"——知道什么时候该当真，什么时候是玩笑，什么时候对方的"没事"其实意味着"很有事"。
卡内基梅隆大学这支团队用PRAGMA告诉我们：这种感知力，AI现在还不具备，而且差距比我们以为的要大。这不是在否定AI的价值，而是在精确地描述一个真实存在的鸿沟，以及这道鸿沟的形状。只有把问题看清楚了，才知道该往哪里走。
至于AI什么时候能真正学会"察言观色"，这个问题的答案还在未来某处。但可以确定的是，像PRAGMA这样的研究，正是我们通往那个答案的必经之路。如果你想深入了解这项研究的所有细节，可以通过论文编号arXiv:2406.08816查阅完整论文，其中有大量精彩的实验细节和数据分析，值得一读。
**Q&A**
Q1：PRAGMA框架测试的是AI的哪种语言能力？
A：PRAGMA测试的是AI的语用理解能力，简单来说就是让AI读懂人说话时的"言外之意"。这和理解词语字面意思不一样，语用理解要求AI结合说话场景、说话人意图等因素，判断讽刺、预设、间接表达等复杂的语言现象。
Q2：GPT-4在PRAGMA测试中表现如何？
A：GPT-4在所有被测试的大型语言模型中表现最好，但和人类水平相比仍有明显差距。尤其在需要理解讽刺、间接表达和复杂语境的题目上，GPT-4的准确率会显著下降，说明即便是目前最强的AI在语用理解上仍有较大提升空间。
Q3：模型参数越大，语用理解能力就越强吗？
A：不一定。研究发现，模型规模和语用理解能力并不总是成正比。参数量更少但训练策略更有针对性的模型，有时在特定语用维度上反而能超过更大的模型。训练数据质量和训练目标设计同样关键。
