recogna-nlp/EduBench

EduBench是一个巴西葡萄牙语的基准测试，用于评估大型语言模型在教育任务中的性能。该数据集包含3,149个论述性问题，这些问题提取自巴西高竞争性大学入学考试（包括USP、UNICAMP和UNESP），涵盖2015年至2025年共11年的考试。知识领域覆盖人文科学（如历史、地理、哲学、社会学）、精确科学（数学）、自然科学（物理、化学、生物）以及语言（葡萄牙语、文学、英语）。每个问题都包含问题文本、支持文本、完整答案、简短答案、学科分类、难度估计（1-10级）、图像路径和描述等元数据。数据集旨在支持开放式文本生成评估，并提供专家策划的参考答案和丰富的元数据，以促进葡萄牙语NLP研究和教育应用。EduBench is a comprehensive Portuguese-language benchmark for evaluating large language models on educational tasks. It comprises 3,149 discursive questions extracted from highly competitive Brazilian university entrance examinations (USP, UNICAMP, and UNESP), spanning the period from 2015 to 2025 (11 years of exams). The dataset covers diverse knowledge areas, including Humanities (e.g., History, Geography, Philosophy, Sociology), Exact Sciences (Mathematics), Natural Sciences (Physics, Chemistry, Biology), and Languages (Portuguese, Literature, English). Each question includes the question text, supporting texts, a complete expected answer, a short answer, subject classification, estimated difficulty (1-10 scale), image paths and descriptions, and other metadata. EduBench is designed to assess open-ended, argumentative text generation and provides expert-curated reference answers from official sources, along with rich metadata and automated image descriptions to support text-only evaluation, facilitating research in Portuguese NLP and discursive generation assessment.

搜集汇总

数据集介绍

构建方式

EduBench数据集源自巴西三所顶尖高校——圣保罗大学、坎皮纳斯州立大学与圣保罗州立大学——在2015至2025年间组织的入学考试。研究者从历年试题中精心筛选出3149道开放性论述题，覆盖人文科学、数学、自然科学及语言等核心学科领域。每道题目均保留原始标识、考试年份、科目分类及难度等级等元数据，并附有官方提供的完整参考答案与简要答点。针对题目中出现的图像信息，数据集还提供了自动生成的文本描述，以支持纯文本评估情境。

特点

该数据集的核心特色在于其聚焦于开放式论述问答，这与常见的多项选择或抽取式基准形成鲜明对比。EduBench要求模型生成具有逻辑论证能力的扩展性回答，而非简单的答案匹配。其跨学科设计涵盖了历史、物理、文学等多元知识领域，难度经过专家评定并分级。此外，丰富的元数据——如考试来源、年份版本、评分指南——为深入分析模型在不同教育场景下的表现提供了便利，使其成为评估非英语语言模型生成能力的重要工具。

使用方法

EduBench可通过Hugging Face的datasets库便捷加载，用户仅需调用load_dataset('recogna-nlp/EduBench')即可获取测试集。数据结构以字典形式呈现，每条记录包含试题文本、支持材料、参考答案及难度评分等字段。研究者可按考试来源或学科类别进行筛选，例如通过filter函数过滤出USP的试题或人文科学领域的题目。该数据集专为评估大语言模型的开放文本生成能力而设计，推荐采用BLEU、BERTScore及G-Eval等多种互补指标进行综合评测，以全面衡量模型回答与专家标准答案的对齐程度。

背景与挑战

背景概述

EduBench数据集于2026年由巴西圣保罗州立大学等机构的研究人员Pedro Henrique Paiola等人创建，旨在评估大语言模型在巴西葡萄牙语教育场景下的开放式论述问答能力。该数据集收录了2015至2025年间来自USP、UNICAMP、UNESP等顶尖高校入学考试的3149道论述题，涵盖人文科学、自然科学、数学及语言学等多元学科领域。作为非英语语言中首个针对论述性回答的基准测试，EduBench填补了传统选择题或抽取式问答基准的空白，为评估模型在复杂教育情境下的文本生成质量提供了标准化工具，对推动葡萄牙语自然语言处理及教育智能化评估具有重要影响力。

当前挑战

该数据集面临的核心挑战在于解决论述性问答评估的复杂性，不同于单一答案的客观题，论述题要求模型生成逻辑连贯、论据充分的长篇回答，而现有自动评估指标（如BLEU、BERTScore）常与人类判断存在显著分歧，亟需更可靠的评价范式。构建过程中，数据采集面临原始试卷格式多样、答案标准模糊、多学科交叉等问题，需人工精校参考解答；同时，部分题目包含图像信息，虽已补充自动文本描述，但图像理解与文本分析的融合仍构成技术难点；此外，确保3149道题目在难度、学科分布上的均衡性，以及不同年份试卷的连贯性，也给数据集设计带来挑战。

常用场景

经典使用场景

EduBench作为巴西葡萄牙语领域首个专注于开放型论述性问答的教育基准数据集，其经典使用场景聚焦于评估大型语言模型在复杂教育任务中的生成能力。该数据集包含3,149道源自巴西顶尖高校（圣保罗大学、坎皮纳斯州立大学、圣保罗州立大学）2015至2025年间入学考试的论述题，覆盖人文科学、自然科学、数学及语言学等多个学科领域。研究者可基于此基准，系统性地测试模型在给定文本片段与辅助材料后，生成逻辑连贯、证据充分且符合学术规范的长篇回答的能力。

解决学术问题

EduBench核心解决了非英语语境下开放型文本生成评估的学术困境。传统问答基准多聚焦于多项选择或抽取式任务，难以衡量模型在需要深度推理与结构化表达时的表现。该数据集通过提供专家审核的标准答案与详细的评分指南，为研究者构建了量化生成质量的多维评价体系。其引入的BLEU、BERTScore及G-Eval等互补性指标，揭示了不同评估标准间存在的显著分歧，为开发更契合论述性任务的自动评估方法奠定了实证基础。

衍生相关工作

EduBench的发布催生了若干相关研究工作。其一，研究者基于该数据集提出了针对葡萄牙语论述生成的跨学科评估方法，探索了不同规模模型（4B参数级至顶尖推理模型）在知识覆盖面与回答深度上的差异。其二，自动图像描述与文本标注技术的融合成为衍生热点，数据集中附带的图像路径与描述信息，为多模态语言模型在该教育领域的应用开启了探索方向。此外，该基准的构建范式正被借鉴至其他低资源语言的开放式教育测评数据集的开发中，推动了非英语NLP评估体系的多元化发展。