BSC-LT/arc_es

该数据集提供了ARC（AI2推理挑战）验证集的西班牙语翻译和改编版本。原始数据集旨在通过呈现一系列真实的小学科学多项选择题来评估大语言模型的科学推理能力，这些题目分为两个不同难度的集合：ARC Easy（简单）和ARC Challenging（挑战）。这个西班牙语改编版本使得能够在西班牙语环境中评估ARC任务，同时保留了原始的Easy和Challenge划分，并保持了源材料的概念难度、结构和意图。数据集保持了原始ARC验证集的结构、特征和整体格式。在翻译过程中仅进行了微调，包括确保事实正确性（因为原始数据集中发现了一些事实错误）、保持西班牙语语境中的语言和文化适当性、将专有名词适配为西班牙语等效词，以及在英语源未标记性别的项目中保持性别中立，以避免引入性别偏见。

This dataset provides the Spanish translation and adaptation of the ARC (AI2 Reasoning Challenge) validation set. The original dataset was designed to evaluate scientific reasoning in LLMs by presenting a collection of authentic, grade-school science multiple choice questions split into two sets of varying difficulty: ARC Easy and ARC Challenging. This Spanish adaptation enables evaluation of the ARC task in Spanish while preserving the original Easy and Challenge splits and maintaining the conceptual difficulty, structure, and intent of the source material. The dataset preserves the original structure, features, and overall format of the original ARC validation set. Only minor adjustments were made during translation, including ensuring factual correctness (as some factual mistakes were found in the original), preserving linguistic and cultural appropriateness in Spanish-speaking contexts, adapting proper names to Spanish equivalents, and maintaining gender neutrality in items where the English source did not mark gender to avoid introducing gender bias.

搜集汇总

数据集介绍

构建方式

ARC_es数据集是基于经典的AI2推理挑战（ARC）验证集进行西班牙语翻译与适配而构建的。该工作由巴塞罗那超级计算中心主导，严格保留了原始ARC数据集的Easy与Challenge两个难度分组的结构、特征与格式。在翻译过程中，团队不仅修正了原始数据中存在的若干事实性错误，还针对西班牙语语境进行了语言与文化层面的本地化调整，包括将专有名词转化为恰当的西班牙语等效表达，并在未标记性别的英文原题中维持性别中立，以避免引入潜在的性别偏见。最终形成了包含570条Easy样本与299条Challenge样本的验证集，每条样本均由问题、四个选项及标准答案组成。

特点

ARC_es数据集具备鲜明的双语评估特性与层次化难度设计。其最大的亮点在于为西班牙语环境下的科学推理评测提供了高质量、标准化的基准，使研究者能够系统地对比模型在英语与西班牙语双语言上的性能差异。数据集延续了原版ARC的两个关键子集：ARC Easy侧重于基础科学概念的理解，而ARC Challenge则聚焦于需要深度推理的更复杂问题，二者共同构成了对模型科学问答能力的细致考验。此外，该数据集严格限于评估用途，本身不包含训练数据，确保了评测的外部公正性与可重复性。

使用方法

该数据集可通过HuggingFace的datasets库便捷加载，支持直接以Python字典的形式访问每条数据实例。每个实例包含唯一标识符（id）、问题文本（question）、四个候选答案（answer_a至answer_d）以及正确选项的标签（answerkey）。用户可直接利用这些字段进行模型推理与准确率计算，其中ARC_Easy_es与ARC_Challenge_es两个配置分别对应不同的难度层级。推荐的调用方式为使用load_dataset('arc_es', 'ARC_Easy_es')或load_dataset('arc_es', 'ARC_Challenge_es')来获取对应子集的验证分割，从而实现针对性的科学问答性能评估。

背景与挑战

背景概述

ARC_es数据集是由巴塞罗那超级计算中心（BSC）于2023年创建并发布的西班牙语科学问答基准，其核心研究问题在于评估大语言模型在西班牙语境下的科学推理能力。该数据集对原始ARC（AI2推理挑战）验证集进行了严谨的西班牙语翻译与文化适配，保留了Easy和Challenge两种难度划分的原始结构。源于艾伦人工智能研究所2018年提出的ARC基准，ARC_es的诞生弥补了高质量西班牙语科学推理评估资源的匮乏，为多语言自然语言处理研究提供了重要的评测工具，尤其对拉丁美洲及西班牙语社区的AI发展具有深远影响。

当前挑战

该数据集所解决的领域挑战包括：多语言环境下科学推理评估的缺失，即现有基准多聚焦英语，难以衡量模型在非英语科学知识问答中的泛化能力；以及原始数据中存在的少量事实性错误需在翻译过程中修正。构建过程面临的挑战则在于：确保翻译后的科学问题在西班牙语中保持概念完整性与文化适切性，例如处理英语专有名词的本土化表达；同时需在涉及性别的条目中维持中立，避免引入性别偏见，这要求译者在科学准确性与语言公平性之间找到微妙的平衡。

常用场景

经典使用场景

ARC_es数据集是原始ARC（AI2推理挑战）数据集精心翻译与本地化后的西班牙语版本，它将原本面向英语的科学多项选择问答任务拓展至西班牙语语境。该数据集保留了原始结构中Easy和Challenge两个难度层次，分别包含570个和299个验证样本，覆盖了小学科学领域的多样化问题。研究者常借助ARC_es评估和比较不同语言模型在科学推理维度上的表现，尤其关注模型在非英语环境下的泛化能力。通过这一资源，学界得以深入探究语言差异对理解复杂科学概念的影响，为跨语言自然语言处理研究提供了宝贵基准。

解决学术问题

ARC_es有效解决了科学问答领域长期存在的语言多样性评估瓶颈。在原始ARC推动英语科学推理研究的基础上，该西班牙语版本填补了高资源语言之外模型评估的空白。它帮助研究人员检验多语言模型是否真正具备推理能力，而非单纯依赖语言表面的统计模式。通过对比Easy和Challenge子集上的表现差异，学者可以更精确地定位模型在推理复杂度递增时的失误模式。该数据集的公开发布促进了语言技术公平性的研究，呼吁社区重视模型在不同文化背景和语言结构下的鲁棒性，从而推动了更具包容性的人工智能评估体系构建。

衍生相关工作

ARC_es的出现激发了多个交叉领域的研究浪潮。基于该数据集，研究者开发了专门针对西班牙语科学推理的基准测试套件，拓展了多语言问答系统的评价维度。同时，该数据集被用作探究机器翻译对概念推理影响的关键工具，衍生出关于翻译质量与下游任务性能之间关联的分析工作。在模型层面，ARC_es促进了对抗性样本生成技术在西班牙语上的应用，推动开发更鲁棒的多语言科学推理模型。更广泛地，该工作启发了其他语言（如法语、阿拉伯语）科学问答数据集的构建，形成了一股方言化与本地化基准资源的扩展趋势，显著丰富了低资源语言的自然语言处理评测生态。