ID10M-JAM

ID10M-JAM是一个用于评估大型语言模型（LLMs）在误导性上下文信号下识别习语能力的对抗性基准数据集。该数据集扩展自ID10M，通过引入对抗性增强的上下文，故意偏向于潜在习语表达（PIE）的错误（字面或比喻）解释，同时对人类读者保持明确性。每个原始句子生成3个“困难变体”，其中添加的上下文旨在挑战模型对虚假相关性和误导性线索的鲁棒性。数据集包含英语和德语两种语言，以JSON文件形式提供，每个条目代表原始句子的一个对抗性变体。英语部分包含178个原始句子和534个变体，德语部分包含137个原始句子和411个变体。每个样本包含多个字段，如原始句子、潜在习语表达、真假习语标签、变体编号、变体句子、分词结果、BIO标签等。数据集适用于习语识别、语言模型鲁棒性评估等任务。

ID10M-JAM is an adversarial benchmark dataset designed to evaluate the ability of large language models (LLMs) to recognize idioms under misleading contextual signals. The dataset extends ID10M by introducing adversarially augmented contexts that deliberately bias towards incorrect (literal or figurative) interpretations of potential idiomatic expressions (PIEs) while remaining unambiguous to human readers. Each original sentence generates 3 difficult variants, where the added context aims to challenge the models robustness against spurious correlations and misleading cues. The dataset is available in both English and German, provided as JSON files, with each entry representing an adversarial variant of the original sentence. The English portion contains 178 original sentences and 534 variants, while the German portion contains 137 original sentences and 411 variants. Each sample includes multiple fields such as the original sentence, potential idiomatic expression, true/false idiom label, variant number, variant sentence, tokenization results, BIO tags, etc. The dataset is suitable for tasks such as idiom recognition and language model robustness evaluation.

原始信息汇总

数据集概述

基本信息

• 数据集名称： ID10M-JAM
• 数据集类型： 对抗性基准测试集
• 任务类别： 令牌分类（token-classification）
• 语言： 英语（en）、德语（de）
• 许可证： CC BY-NC-SA 4.0（数据集）、Apache-2.0（代码）
• 数据集规模： 1K < n < 10K

数据集描述

ID10M-JAM 是一个用于评估大语言模型在误导性上下文信号下进行习语识别能力的对抗性基准数据集。该数据集基于 ID10M 数据集构建，通过引入对抗性增强上下文，有意使模型对潜在习语表达产生错误（字面义或比喻义）理解偏向，但同时对人类读者保持无歧义。每个原始句子对应 3 个“困难变体”，通过在句子前添加额外上下文来挑战模型对虚假相关性和误导性线索的鲁棒性。

数据集来源

• 代码仓库： ID10M-JAM GitHub仓库
• 论文： 预印本（已接收；ACL 2026 Findings）
• 原始数据集： ID10M（Tedeschi等人，2022）

数据集结构

数据集以 JSON 文件形式提供（如 english.json、german.json），每个条目对应一个原始句子的单个对抗变体。数据集统计信息如下：

• 英语： 178 个原始句子，534 个变体
• 德语： 137 个原始句子，411 个变体

每个样本包含以下字段：

• sentence：来自 ID10M 的原始句子，包含潜在习语表达
• PIE：被评估的目标表达式（字符串或令牌列表）
• true_idioms：句子中的习语表达列表（若为字面义则为空）
• is_figurative：布尔标签，指示 PIE 是否用作习语（真）或字面义（假）
• variant_number：当前原始句子的对抗变体索引
• variant_sentence：完整的对抗样本（上下文 + 原始句子）
• tokens：变体句子的令牌化版本
• tags：对应每个令牌的 BIO 标签（B-IDIOM、I-IDIOM、O）
• tag_ids：BIO 标签的数值编码
• version：内部版本标识符

注意：

• 每个原始句子出现 3 次。
• PIE 始终指原始句子中的表达，而非添加的上下文。
• 对抗性上下文被前置到原始句子之前。
• 生成的上下文中不引入额外的习语。

数据集创建

• 策划理由： 旨在对抗性上下文条件下对大语言模型进行压力测试。
• 源数据： 基于 ID10M 数据集，经过人工筛选和修正。变体由大语言模型生成、自动验证并经过人工精炼。
• 标注过程： 标注人员验证了流畅性、正确含义和无歧义性。仅保留具有 ≥3 个有效变体的样本。完整的标注指南请参见项目仓库。

使用建议

• 建议与标准基准测试集搭配使用。
• 用于评估模型的鲁棒性，而非直接性能。

引用

如果研究中使用了 ID10M-JAM，请引用相关论文（具体 BibTeX 和 APA 引用格式待补充）。

数据集卡片作者

Kai Golan Hashiloni 等人（Intellexus 项目）

联系方式

如有问题或贡献，请联系：[e-mail]

搜集汇总

数据集介绍

构建方式

ID10M-JAM数据集以原始ID10M语料为基石，通过精准筛选与人工校正，构建起对抗性基准。研究团队借助大语言模型生成误导性上下文，经由自动化验证与人类专家精细化打磨，为每条原始句子精心设计了三种“硬变体”。这些变体在保留人类可理解性的前提下，通过前置于原句的上下文刻意诱导模型朝向错误（字面或比喻）意义解读。最终仅保留经注释者验证为流畅、语义正确且无歧义的样本，确保了数据质量与对抗强度的平衡。

特点

该数据集的核心特色在于其精心设计的对抗性语境，有效揭示了当前大语言模型在习语识别任务中面对虚假相关性时的脆弱性。每个样本均包含原始句子与对抗变体的配对，并提供详尽的BIO标签、词元序列及语义标签（is_figurative），支持细粒度评估。涵盖英语（534变体）与德语（411变体）的双语配置，使得跨语言鲁棒性测试成为可能。数据集规模虽精简，却足以构成对模型深层理解能力的严峻挑战。

使用方法

研究者可将其作为标准习语识别基准的补充，专注于评估模型的鲁棒性而非绝对性能。使用时，通过加载JSON格式的英文或德文文件，利用`sentence`与`variant_sentence`字段进行对比实验，借助`tags`与`tag_ids`完成序列标注评估。建议配合原始ID10M数据集使用，以全面衡量模型在常规与对抗条件下的表现差异。该数据集尤适用于压力测试场景，可精准定位模型在处理误导性上下文时的失败模式。

背景与挑战

背景概述

在自然语言处理领域，习语识别一直是极具挑战性的任务，尤其当语言模型需要在字面与比喻意义间精准判别时。ID10M-JAM是由赖希曼大学数据科学研究所及埃菲·阿拉齐计算机科学学院的Kai Golan Hashiloni等人于近期构建的对抗性基准数据集，旨在评估大型语言模型在误导性上下文信号下的习语识别鲁棒性。该数据集以ID10M为基础，通过人工精炼与自动验证相结合的方式，为每句原文生成三种对抗性变体，这些变体在保持人类可理解性的同时，刻意引导模型向错误的字面或比喻意义偏移。作为ACL 2026 Findings接收论文的支撑资源，ID10M-JAM揭示了当前语言模型在应对上下文欺骗时的脆弱性，为探究模型依赖虚假相关性而非语义理解的缺陷提供了关键评测工具。

当前挑战

ID10M-JAM所应对的核心挑战在于语言模型对习语理解中上下文欺骗信号的敏感性。传统习语识别任务多假设标注数据内上下文无恶意偏移，因而模型常利用字面与比喻使用场景中微妙的统计偏差（如动词搭配模式）作为捷径，而非真正理解表达意图。该数据集通过人工构造的对抗性上下文，将模型依赖的表面线索系统性地扭曲，迫使其暴露在鲁棒性不足的缺陷中。构建过程中，挑战集中于如何确保对抗性上下文在误导模型的同时不引入额外习语、不产生歧义且保持语言流畅性；同时，需通过多轮自动筛选与人工校验，仅保留至少三个有效变体的样本，以平衡攻击强度与数据质量。这种精细化的对抗设计使得ID10M-JAM成为检验习语理解模型鲁棒性的严苛试金石。

常用场景

经典使用场景

在自然语言处理领域，习语识别是语义理解中极具挑战性的任务，核心在于区分词组的字面与比喻用法。ID10M-JAM 数据集被广泛用于评估大语言模型在面对恶意语境干扰时的习语识别鲁棒性。研究者将原始句子与三段对抗性上下文拼接，构造出人类可辨别但模型易受误导的样本，从而测试模型是否能够抵御基于上下文的有害偏见。该数据集尤其适用于习语识别基准的对抗性评测，成为检验模型语义泛化能力的标准试金石。

衍生相关工作

ID10M-JAM 的发布催生了一系列针对习语鲁棒识别的后续研究。例如，有工作基于该数据集设计了对立训练框架，通过动态生成误导性上下文来增强模型的抗干扰能力；也有研究将其与 ID10M 联合使用，构建多维度习语识别评测体系，分析不同规模模型在面对对抗样本时的行为差异。此外，部分学者借鉴其数据构造理念，提出了针对其他语言现象如隐喻或讽刺的对抗性数据集，推动了自然语言处理在语言多样性理解上的系统性进步。

数据集最近研究

最新研究方向

当前，随着大规模语言模型在自然语言理解任务中的广泛应用，习语识别这一细粒度语义挑战日益受到关注。ID10M-JAM数据集的问世，针对性地揭示了模型在面临误导性上下文信号时的脆弱性，通过引入对抗性语境迫使模型在字面义与比喻义之间做出正确判断，从而检验其语义鲁棒性。该研究紧扣语言模型在复杂语用场景下的泛化能力这一前沿议题，特别是与近年来关于大型语言模型在隐喻、讽刺等非字面语言处理上的局限性讨论紧密相连。该数据集的提出不仅为评估模型在对抗性样本下的表现设立了新基准，也对推动更为稳健、语境敏感的语言理解模型发展具有重要学术意义与工程价值。