Abbey4799/MetaR-Metaphorical-Riddle

METAR是一个隐喻谜题数据集，旨在支持元推理能力的研究。该数据集包含约3,444个样本，用于带有可验证奖励的强化学习（RLVR）。每个样本包含任务提示（instruction）、合成的隐喻谜题（riddle）、唯一正确答案（answer）以及三个层次分类（h1, h2, h3）。研究发现，隐喻推理是一种跨领域的基础技能，其效果与模型规模相关，且训练会增强模型的反思性思维。

METAR is a metaphorical riddle dataset designed to support research on meta-reasoning capabilities. The dataset contains approximately 3,444 samples for reinforcement learning with verifiable rewards (RLVR). Each sample includes a task prompt (instruction), a synthesized metaphorical riddle (riddle), a unique ground truth answer (answer), and three levels of categorization (h1, h2, h3). Research findings indicate that metaphor reasoning is a foundational skill that transfers across domains, its effectiveness is scale-dependent, and training enhances reflective thinking in models.

搜集汇总

数据集介绍

构建方式

元隐喻谜语数据集METAR基于隐喻推理作为元认知核心能力的理论框架，通过自动化系统合成生成。构建过程聚焦于谜语的多样性、平衡性、推理导向性及可验证性，最终产出约3,444条训练样本。每条样本包含任务指令、谜面文本、唯一正确答案以及三级层次分类标签（从宏观对象到微观类型），为强化学习提供结构化的可验证奖励信号。

特点

该数据集的核心特色在于将隐喻推理抽象为跨领域元推理能力，验证了其在逻辑、数学及STEM领域的迁移效应。研究揭示，模型规模与迁移效果呈正相关，较大模型能更内化隐喻策略。此外，训练后模型使用反思性词汇的频率显著提升，表明增强了审慎思维，且在推理结构与隐喻映射一致的领域表现最优。

使用方法

使用者可通过加载train.parquet文件直接获取数据，每条记录均提供完整输入输出对及层级分类。适用于基于可验证奖励的强化学习训练流程，可搭配transformers库进行微调。数据集许可证为Apache-2.0，允许广泛的学术与商业用途，但需注意输出结果可能需人工校验以实现最佳部署效果。

背景与挑战

背景概述

隐喻推理作为人类认知的核心能力，通过将熟悉领域的知识映射至抽象领域，为机器理解复杂语义提供了关键路径。METAR隐喻谜题数据集由研究团队于ACL 2026会议论文《Metaphor Reasoning is Meta-reasoning》中正式提出，该机构专注于认知推理与自然语言处理的交叉研究。数据集包含约3444个经过自动化系统合成的隐喻谜题样本，覆盖物体、现象、抽象实体三大一级类别及多级细分类型，旨在探索隐喻推理作为元推理能力的本质特性。其核心研究问题在于验证隐喻推理能否作为跨逻辑、数学、STEM等领域的通用认知技能，并通过强化学习范式提升模型的演绎思考能力。该数据集为评估大语言模型的元认知能力提供了标准化基准，在人工智能认知架构研究中具有重要影响力。

当前挑战

数据集面临的核心挑战在于所解决的领域问题的复杂性：隐喻推理本身是一个认知映射过程，要求模型具备从具体到抽象的泛化能力，而现有模型往往难以理解隐喻中隐含的跨域关系，导致在逻辑、数学等结构化推理场景中表现欠佳。构建过程中的主要挑战包括：确保合成谜题的多样性与平衡性，避免类别或难度偏差；设计可验证的奖励机制以保证答案的唯一性与推理路径的可靠性；以及应对规模依赖现象——实验表明仅当模型参数量达到32B级别时，才能有效内化隐喻策略，这为资源受限场景下的应用带来了限制。

常用场景

经典使用场景

在自然语言处理与认知科学交叉领域，MetaR-Metaphorical-Riddle数据集为隐喻推理研究提供了标准化的训练与评估平台。其经典使用场景聚焦于提升语言模型对隐喻性谜题的解答能力，通过将抽象概念映射至具体域，检验模型是否具备类人的跨域知识迁移与元认知推理能力。该数据集的独特设计在于其分层类别体系（h1至h3），从实体类型到具体子类逐步细化，使得研究人员能够系统性地剖析模型在不同抽象层级上的隐喻理解表现，从而推动可解释人工智能在语言认知层面的发展。

衍生相关工作

围绕该数据集衍生的一系列经典工作包括：基于元推理范式的跨域迁移学习框架，验证了隐喻训练可增强模型在数学证明与逻辑推理中的表现；注意力机制分析研究揭示了模型在解答谜题时对不同层级类别（h1/h2/h3）的关注差异，从而改进了隐喻映射的可视化工具。更前沿的探索则将其与神经符号系统结合，通过符号推理引擎显式建模源域与目标域的对应关系，显著提升了小样本学习场景下的泛化鲁棒性。这些工作共同塑造了隐喻与元认知交叉研究的新方向，推动了语言模型从模式记忆向真正推理能力的进化。

数据集最近研究

最新研究方向

当前，MetaR-Metaphorical-Riddle数据集在认知科学与人工智能交叉领域引发了广泛关注，其核心贡献在于将隐喻推理重构为一种元认知能力，并系统揭示了该能力在逻辑、数学和科学等多元推理场景中的迁移规律。研究热点聚焦于模型规模对隐喻策略内化效率的影响，实验表明32B参数以上的大语言模型能够更有效地吸收映射知识，从而提升跨域推理表现。尤为引人注目的是，训练过程中模型言语行为呈现出显著变化——诸如“check”、“think”等反思性标记的使用频率增加，标志着机器开始模拟人类深思熟虑的认知路径。该数据集同时支持层次化隐喻类型标注（如自然实体、社会过程），为细粒度探究隐喻结构与推理模式对齐性提供了标准化评估框架，有望推动可解释推理引擎与类人思维架构的演进。