swap-uniba/drop_ita

DROP数据集的意大利语版本，主要用于问答和文本生成任务。该数据集由众包创建，包含意大利语文本，大小为10K到100K之间。数据集的结构包括训练集和验证集，分别包含77400和9535个样本。数据集的字段包括段落、问题和答案跨度。

原始信息汇总

数据集概述

基本信息

• 数据集名称: DROP ITA
• 语言: 意大利语
• 许可证: CC BY-SA 4.0
• 数据集大小: 10K<n<100K
• 多语言性: 单语种
• 来源数据集: 原始数据

任务类别

• 问题回答
• 文本生成

任务ID

• 抽取式问答
• 抽象式问答

数据集特征

• section_id: 字符串类型
• query_id: 字符串类型
• passage: 字符串类型
• question: 字符串类型
• answers_spans: 包含以下字段
  • spans: 字符串类型
  • types: 字符串类型

数据集分割

• 训练集: 77400个样本，105572506字节
• 验证集: 9535个样本，11737755字节

下载和数据集大小

• 下载大小: 11538387字节
• 数据集大小: 117310261字节

配置

• 默认配置:
  • 训练集: data/train-*
  • 验证集: data/validation-*

标签

• llm
• 意大利语
• llamantino

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，阅读理解基准数据集对于评估模型推理能力至关重要。DROP ITA数据集是基于英文DROP数据集通过众包翻译方式构建的意大利语版本，由Leonardo Ranaldi等人完成翻译工作。该数据集保留了原始DROP的对抗性构建策略，通过众包方式收集了约96,000个问题，要求系统在理解段落内容的基础上进行离散推理操作，如加法、计数或排序等。数据集包含训练集77,400个样本和验证集9,535个样本，每个样本由段落、问题及答案跨度组成，答案跨度包含具体文本片段及其类型标注。

特点

DROP ITA数据集的核心特点在于其对抗性构建方式与离散推理要求的结合。不同于传统阅读理解数据集仅需抽取式回答，该数据集要求模型在理解意大利语段落的基础上执行多步离散运算，显著提升了对语义理解和逻辑推理能力的评估难度。数据集采用众包标注确保答案质量，同时保持原始DROP的挑战性结构，每个问题可能涉及段落中多个位置的引用和复杂操作。此外，数据集提供答案跨度与类型双重标注，为评估模型在不同推理任务上的表现提供了精细化的分析维度。

使用方法

使用DROP ITA数据集时，研究者可通过HuggingFace Datasets库直接加载，指定配置名为'default'即可获取训练集和验证集。数据集字段包含section_id、query_id、passage、question和answers_spans，其中answers_spans为字典结构，包含spans（答案文本）和types（答案类型）两个子字段。适用于抽取式问答和文本生成任务，特别适合评估意大利语大语言模型（如LLaMAntino）的离散推理能力。建议在训练时将段落和问题拼接作为输入，以答案跨度作为监督信号进行序列标注或生成式训练。

背景与挑战

背景概述

在自然语言处理领域，机器阅读理解与推理能力的研究一直是推动人工智能发展的核心课题之一。DROP ITA数据集由Leonardo Ranaldi、Giulia Pucci、Elena Sofia Ruzzetti等研究人员于2023年构建，其原始英文版本DROP由Dheeru Dua等人于2019年在NAACL会议上提出，旨在评估系统对段落进行离散推理的能力。该数据集通过众包和对抗性生成方式，包含约96,000个问题，要求模型在执行加法、计数或排序等操作时，必须解决引用问题并综合多个输入位置的信息。意大利语版本DROP ITA的诞生，不仅拓展了该基准测试的语言覆盖范围，更为评估和推动大型语言模型在意大利语环境中的推理表现提供了关键资源，对跨语言自然语言理解研究产生了重要影响。

当前挑战

DROP ITA数据集所面临的挑战首先体现在其核心领域问题上：模型需要超越简单的文本匹配，掌握对段落内容的深度理解与离散推理能力，例如处理涉及数字运算、排序和计数等复杂问题，这对于当前多数语言模型而言仍是重大技术瓶颈。其次，在数据集构建过程中，研究人员需应对从英文到意大利语的高质量翻译与语义保留难题，确保问题与段落中的推理关系在跨语言转换后不失真。此外，由于原始DROP采用对抗性生成策略以增强难度，意大利语版本在保持这一特性的同时，还需克服众包标注过程中可能出现的语言歧义和一致性挑战，从而维护基准测试的可靠性与有效性。

常用场景

经典使用场景

在自然语言处理与机器阅读理解的研究版图中，DROP ITA数据集作为经典DROP基准的意大利语译本，承载着评估模型在复杂推理任务上表现的使命。其最为经典的使用场景在于检验语言模型是否能够跨越语言屏障，对给定段落执行离散数学运算，诸如加法、计数与排序，同时准确解析指代关系与多位置信息。研究者借助该数据集，可系统性地衡量模型在意大利语环境下进行数值推理与语义理解的综合能力，从而推动多语言推理模型的迭代与优化。

解决学术问题

该数据集精准回应了学术界长期面临的一个核心难题：现有阅读理解基准多聚焦于单一语言的文本抽取或简单推理，鲜少涉及需要离散推理的跨语言场景。DROP ITA通过引入对抗性构建的问答对，迫使模型在理解意大利语段落的基础上，完成数值计算与逻辑排序等复合操作，从而揭示了传统抽取式模型在推理深度上的匮乏。其意义在于为跨语言推理研究提供了标准化测试平台，促进了从浅层匹配到深层语义理解的范式转变。

衍生相关工作

基于DROP ITA数据集，学界已衍生出一系列具有启发性的经典工作。Ranaldi等人率先利用该意大利语译本，对LLaMAntino等本地化大语言模型进行了指令微调与推理能力评测，揭示了模型在离散推理任务中的表现与语言适配策略之间的深刻关联。此外，Dua等人提出的原始DROP基准亦催生了众多融合数值推理的神经架构，如NAQANet与BERT-based的数值注意力模型，这些工作在DROP ITA上得以跨语言验证，进一步推动了可解释推理与多语言预训练技术的融合发展。