HiTZ/EusExams-v2

EusExams-v2是一个更新和完善的测试集合，旨在帮助个人准备由多个巴斯克机构组织的公共服务考试，这些机构包括公共卫生系统Osakidetza、巴斯克政府、毕尔巴鄂和加斯泰斯市议会以及巴斯克大学（UPV/EHU）。在这些机构中，有不同公共职位的考试，例如行政和助理角色。每个多项选择题包含2到4个选项和一个正确答案。EusExams-v2 is an updated and refined test collection designed to help individuals prepare for civil service examinations organized by multiple Basque institutions, including the Basque public health system Osakidetza, the Basque Government, the Bilbao and Gasteiz City Councils, and the University of the Basque Country (UPV/EHU). Examinations for various public positions such as administrative and assistant roles are offered across these institutions. Each multiple-choice question contains 2 to 4 options and one correct answer.

搜集汇总

数据集介绍

构建方式

EusExams-v2是一个专注于巴斯克地区公共服务考试的问答数据集，由HiTZ研究中心与IXA研究组联合构建。其构建过程基于对多机构（如Osakidetza卫生系统、巴斯克政府、毕尔巴鄂及加斯泰斯市议会、巴斯克大学）历年公开考试题目的系统性采集与整理。相较于初版，v2版本实施了关键优化：通过去重算法消除同类别考试中的重复题目，过滤缺失有效答案的条目，并将细碎文件重组为四大高级领域（议会、政府、卫生、大学）。此外，新增了2026年西班牙语卫生考试题目，并为每条记录添加了原始来源标识与链接，确保数据的可追溯性与鲁棒性。

使用方法

该数据集可通过HuggingFace Datasets库直接加载，用户需指定语言与领域对应的配置名称（如'es_health'加载西班牙语卫生题目）。每个样本以JSON格式呈现，包含问题文本、候选选项列表、正确答案索引、来源ID与链接字段。研究者可将其用于多选题问答任务或多语言理解测试，尤其适合评估模型在巴斯克语法律行政文本上的推理能力。加载时建议结合巴斯克语专用的分词器与编码器，并参考配套论文《Latxa: An Open Language Model and Evaluation Suite for Basque》中给出的评估协议，以复现官方基准结果。

背景与挑战

背景概述

EusExams-v2是由西班牙巴斯克大学的HiTZ研究中心与IXA研究团队于2024年联合构建并发布的多选题问答数据集。该数据集聚焦于巴斯克地区公共服务考试领域，涵盖巴斯克语与西班牙语两种语言，包含来自公共健康系统Osakidetza、巴斯克政府、毕尔巴鄂与加斯泰兹市议会及巴斯克大学等机构的官方考题。共收录27,096道高质量选择题，每道题目配备2至4个选项及唯一正确答案，旨在为低资源语言巴斯克语的自然语言处理研究提供可靠评测基准。该数据集作为Latxa开放语言模型及评测套件的核心组成部分，对推动巴斯克语在法学、行政与医疗领域的智能问答系统发展具有重要学术价值与应用前景。

当前挑战

EusExams-v2所解决的核心领域挑战在于低资源语言（巴斯克语）在专业法律行政语境下的多项选择问答能力评估，现有数据集多聚焦英语或高资源语言，难以满足巴斯克语公共服务场景的实际需求。在构建过程中，团队面临三重关键挑战：第一，原始试题来源分散，跨机构、年份与职位的题目存在大量重复，需设计精确的去重算法以避免评测泄漏；第二，部分题目缺失有效答案或格式不统一，需实施严格的空值过滤与标准化处理；第三，需为每个问题保留原始出处标识与链接，在保持数据简洁性的同时确保溯源可验证性，这一精细化管理增加了数据清洗与整理的复杂度。

常用场景

经典使用场景

EusExams-v2作为巴斯克地区公共服务考试的多选题数据集，在自然语言处理领域尤为适用于评估和微调低资源语言（如巴斯克语）的问答与多项选择模型。研究人员借助该数据集，可以衡量模型在行政、医疗、教育和地方政府等专业领域的知识理解与推理能力。其精细化的领域划分和双语配置（巴斯克语与西班牙语），使得跨语言迁移学习和多语言模型性能对比成为可能。数据集经过精心去重与清洗，确保了评估结果的可靠性与公平性，是巴斯克语NLP研究中不可或缺的基准测试资源。

解决学术问题

该数据集有力回应了低资源语言缺乏高质量、多领域评估基准的学术困境。通过在统一框架下整合巴斯克四大公共机构的真实考题，EusExams-v2助力研究者深入探讨模型在专业法律、法规与行政知识上的精准回应能力，解决了以往评估数据分散、领域覆盖不全、双语对照缺失等痛点。其发布直接推动了巴斯克语大语言模型（如Latxa系列）的性能验证与迭代优化，提升了低资源语言NLP研究的系统性与可复现性，为跨语言、跨领域的模型泛化能力评估树立了新标杆。

实际应用

在实际应用中，EusExams-v2为巴斯克地区的公务员培训机构与教育科技公司提供了标准化测评素材，支持开发面向巴斯克语用户的智能备考辅导系统与自动化习题解析工具。同时，该数据集也可用于构建双语法律与行政领域的智能问答助手，辅助公民快速获取公共服务信息。在语言服务行业，它帮助评估和提升机器翻译系统在专业考试文本上的翻译质量，促进了巴斯克语在正式行政场景中的数字化普及与智能化服务落地。

数据集最近研究

最新研究方向

EusExams-v2作为巴斯克语公共领域多选题评估基准，其最新研究聚焦于低资源语言的法律与行政语境下的机器理解能力评测。伴随Latxa等开源巴斯克语大语言模型的发布，该数据集被用于检验模型在真实公务员考试题目上的表现，尤其关注跨语言（西班牙语与巴斯克语）知识对齐和领域泛化能力。研究者通过去重、溯源追踪及新增2026年卫生健康领域试题，有效提升了评估的鲁棒性与时效性，为推进小语种自然语言处理在公共服务智能化中的应用奠定了重要基础。