EXAMS

该数据集包含了以16种语言编写的高中多项选择题，由于英文训练集规模有限，因此我们在训练时采用了多种语言的多项选择题数据集。该数据集的任务是对多项选择题进行答案解析。

This dataset comprises high school multiple-choice questions crafted in 16 languages. Given the limited scale of the English training set, we utilized this multi-language multiple-choice question dataset during model training. The core task of this dataset is to conduct answer analysis for multiple-choice questions.

搜集汇总

数据集介绍

构建方式

EXAMS数据集源自对多国高中毕业会考官方试题的系统性采集与整理。研究团队首先通过维基百科的‘高中毕业会考’页面定位各国教育部发布的公开考试材料，随后下载相应年份、学科及语言版本的PDF文件。利用正则表达式解析题目、选项与正确答案，并剔除包含图表等视觉信息的题目以确保纯文本可答性。最终经过人工复核与清洗，保留约83%的高质量题目，并对选项顺序进行随机化处理以消除频率偏差。

特点

该数据集涵盖16种语言、8个语系及24个学科，总计超过24,000道多项选择题，规模远超同类科学问答数据集。其题目源自高中毕业考试，由教育专家撰写而非众包或翻译，难度显著高于面向低年级的现有数据集。数据支持按学科与语言进行细粒度评估，并包含近万道跨语言平行试题，为探究多语言知识迁移与推理能力提供了独特而严苛的测试平台。

使用方法

数据集支持多语言与跨语言两种评估范式。多语言设置下，每语言数据按37.5%、12.5%、50%划分为训练、验证与测试集，并确保平行题目不跨集分布以避免信息泄露。跨语言设置则使用单一源语言80%数据进行训练，在其余语言上零样本测试。研究者可基于此框架微调多语言预训练模型（如mBERT、XLM-R），或将其作为知识库进行掩码预测，以评估模型的跨语言科学问答能力。

背景与挑战

背景概述

在自然语言处理领域，科学问答任务因涉及复杂的领域常识、多步推理及跨知识源整合而备受关注。然而，现有资源多集中于英语，多语言场景下的科学问答研究长期受限于数据匮乏。为弥补这一缺口，Momchil Hardalov等研究者于2020年构建了EXAMS数据集，该数据集由索菲亚大学、海德堡大学及卡塔尔计算研究所联合发布。EXAMS从16个语种的高中毕业考试中收集了超过24,000道专家编写的高质量选择题，覆盖8个语系、24个学科，涵盖自然科学、社会科学及应用学科。其设计旨在推动跨语言与多语言问答模型的细粒度评估，为多语言知识迁移与推理研究提供了全新基准。

当前挑战

EXAMS数据集面临双重挑战。在领域问题层面，科学问答需同时具备多语言知识检索、跨语言知识对齐及复杂推理能力，例如化学与物理问题常涉及物理模型理解、代数运算与多跳推理，远超当前预训练模型的能力边界。在构建过程中，数据收集面临多重困难：需从各国教育部发布的PDF中解析试题，过滤含图表等视觉信息的问题以保障纯文本可答性，并通过正则表达式与人工审核清洗约17%的噪声数据。此外，跨语言平行问题的对齐、学科分类的归一化以及训练/测试集的划分需避免答案泄露，进一步增加了数据构建的复杂度。

常用场景

经典使用场景

EXAMS数据集专为跨语言与多语言问答研究而设计，其核心应用场景聚焦于高中学科考试的多选题自动解答。该数据集涵盖16种语言、8个语系及24个学科，题目源自各国官方毕业考试，由教育专家命题而非众包或翻译生成，确保了内容的权威性与难度。研究者可利用该数据集在自然科学、社会科学及艺术宗教等跨学科领域中，评估并提升多语言预训练模型（如mBERT、XLM-R）在知识检索、推理与跨语言迁移上的表现，尤其适用于零样本或少样本场景下的多语言问答能力测试。

解决学术问题

该数据集有效解决了多语言科学问答领域中资源稀缺与评估粒度不足的学术难题。此前，高质量的非英语科学问答数据集极为匮乏，且大多局限于单一语言或低年级内容。EXAMS通过提供大规模、多学科、多语种的专家级试题，填补了这一空白，使得研究者能够系统分析模型在不同语言与学科上的推理短板——如物理与化学所需的复杂多跳推理、数学运算及领域知识整合。其细粒度评估框架（按语言与学科划分）促进了模型可解释性研究，并为跨语言知识对齐与迁移学习提供了标准化基准，推动了多语言NLP从简单阅读理解向高阶推理的演进。

衍生相关工作

EXAMS数据集的发布催生了多项后续经典工作，包括基于其细粒度评估框架改进的多语言预训练模型（如XLM-R和mBERT的领域自适应微调策略），以及针对科学问答中复杂推理需求的多跳推理与知识增强方法。研究者还利用其平行问题对（覆盖7种语言）探索跨语言知识对齐机制，推动了零样本迁移学习在低资源语言上的突破。此外，该数据集被整合进XTREME等多语言基准评测中，成为衡量模型跨语言泛化能力的关键组件，并启发了后续如UnifiedQA等统一问答框架的跨格式扩展研究。