metaphor-llms

这是一个用于评估大型语言模型在隐喻解释方面的能力的数据集，包含了多个用于隐喻解释任务的数据集、任务和提示配置。数据集揭示了LLMs在处理隐喻性语言时的当前能力和局限性。

搜集汇总

数据集介绍

构建方式

在隐喻与大型语言模型交互研究领域，metaphor-llms数据集通过系统整合多个权威隐喻理解基准构建而成。研究团队精选了Fig-QA、FLUTE、IMPLI等五个公开数据集，采用严格的学术标准进行数据清洗与重组。特别值得注意的是，数据集创新性地引入了Commandr-R+和Mistral-7B-Instruct生成的隐喻性复述样本，通过对照原始语句与复述语句的语义关系，构建了具有多维对比特征的语料库。

特点

该数据集最显著的特征在于其多层次的隐喻分析维度，既包含传统隐喻识别任务，又创新性地整合了复述生成与验证任务。数据样本涵盖不同隐喻类型和复杂度，每个样本均标注有前提假设关系及隐喻标签。独特的双模型生成机制确保了复述样本的多样性，为研究语言模型对隐喻表面特征与深层语义的敏感性提供了丰富的分析素材。

使用方法

研究者可通过两种主要路径使用该数据集：直接加载预处理好的子集进行模型性能评测，或利用原始TSV文件开展定制化分析。建议先通过interpretation目录下的标准数据集评估基础隐喻理解能力，再结合paraphrases中的复述样本进行对抗性测试。数据集的层次化结构支持从简单隐喻识别到复杂推理任务的渐进式研究，特别适合用于检验语言模型在处理比喻性语言时的表面特征依赖问题。

背景与挑战

背景概述

metaphor-llms数据集由ACL Findings 2025论文《Metaphor and Large Language Models: When Surface Features Matter More than Deep Understanding》提出，旨在系统评估大语言模型（LLMs）在隐喻理解任务中的表现。该研究由跨机构团队合作完成，整合了Fig-QA、FLUTE、IMPLI等五个公开隐喻数据集，揭示了LLMs对表层特征（如词汇重叠和句子长度）的依赖远超过对隐喻内容的深层理解。这一发现挑战了LLMs具备隐喻理解能力的假设，为自然语言处理领域提供了关于模型评估框架设计的重要反思。

当前挑战

该数据集面临的核心挑战体现在两个方面：在领域问题层面，隐喻理解的复杂性要求模型超越表层语义特征，而现有LLMs更倾向于依赖统计模式而非真正的概念映射；在构建过程中，多源数据集整合需解决标注标准差异问题，且生成的隐喻复述文本需保持原句的修辞特性和逻辑一致性，这对自动生成模型的语义保持能力提出了较高要求。

常用场景

经典使用场景

在自然语言处理领域，隐喻理解一直是衡量模型深层语义处理能力的重要指标。metaphor-llms数据集通过整合多个公开隐喻数据集（如Fig-QA、FLUTE等），为研究者提供了系统评估大型语言模型（LLMs）隐喻解析能力的标准化平台。其经典使用场景包括设计对比实验，分析模型在隐喻识别、隐喻释义生成等任务中受表面特征（词汇重叠、句长）与深层语义特征影响的差异性表现。

衍生相关工作

基于该数据集的分析范式，ACL 2025后续研究《Metaphor-aware Prompting》提出了特征解耦的提示模板设计方法。后续工作如MetaProb进一步构建了隐喻概率评估指标，而CrossMeta框架则扩展了跨文化隐喻对比研究。这些衍生研究共同推动了可解释NLP领域对语言模型认知边界的研究深度。

数据集最近研究

最新研究方向

在自然语言处理领域，隐喻理解一直是衡量模型深层语义解析能力的重要指标。metaphor-llms数据集的推出为探索大语言模型在隐喻处理方面的表现提供了系统化评估框架。最新研究表明，大语言模型对隐喻的解析更多依赖于词汇重叠、句子长度等表层特征，而非对隐喻内涵的深层理解。这一发现对当前基于提示工程的隐喻评估方法提出了质疑，促使学界重新思考如何构建更贴近人类认知机制的评估体系。数据集整合了Fig-QA、FLUTE等五个权威隐喻语料库，通过对比模型在释义生成和隐喻识别任务中的表现，揭示了表面特征与深层语义理解的复杂关系，为开发真正具备隐喻理解能力的下一代语言模型指明了方向。