recogna-nlp/EduBench

---
language:
- pt
size_categories:
- 1K<n<10K
task_categories:
- question-answering
- text-generation
tags:
- education
- brazilian-portuguese
- entrance-exams
- benchmark
- vestibular
- USP
- UNICAMP
- UNESP
pretty_name: EduBench
configs:
- config_name: default
data_files:
- split: test
path: data/test-*
dataset_info:
features:
- name: question_key
dtype: string
- name: question_id
dtype: string
- name: year
dtype: int32
- name: year_version
dtype: string
- name: exam
dtype: string
- name: question
dtype: string
- name: supporting_texts
dtype: string
- name: answer
dtype: string
- name: short_answer
dtype: string
- name: guidelines
dtype: string
- name: subject
dtype: string
- name: difficulty
dtype: int32
- name: image_paths
sequence: string
- name: image_descriptions
sequence: string
- name: has_images
dtype: bool
- name: num_images
dtype: int32
splits:
- name: test
num_bytes: 6856851
num_examples: 3149
download_size: 2697547
dataset_size: 6856851
---
# EduBench 📚

**EduBench** é um benchmark em português brasileiro para avaliação de Large Language Models (LLMs) em tarefas educacionais, composto por **3,149 questões discursivas** extraídas de vestibulares de alta competitividade.

[GitHub](https://github.com/pedropaiola/EduBench)

## Dataset Description

### Fontes

- **USP**: Universidade de São Paulo
- **UNICAMP**: Universidade Estadual de Campinas
- **UNESP**: Universidade Estadual Paulista

### Período

2015-2025 (11 anos de provas)

### Áreas do Conhecimento

- Ciências Humanas (História, Geografia, Filosofia, Sociologia)
- Ciências Exatas (Matemática)
- Ciências da Natureza (Física, Química, Biologia)
- Linguagens (Português, Literatura, Inglês)

## Dataset Structure

### Data Fields

| Campo | Tipo | Descrição |
| ---------------------- | ------ | --------------------------------------------------- |
| `question_key` | string | Identificador único (ex: "edubench-USP-2024_1-15") |
| `question_id` | string | ID da questão na prova original |
| `year` | int | Ano da prova |
| `year_version` | string | Versão/fase da prova (ex: "2024_1") |
| `exam` | string | Vestibular (USP, UNICAMP, UNESP) |
| `question` | string | Texto da questão |
| `supporting_texts` | string | Textos de apoio, fragmentos, etc. |
| `answer` | string | Resposta esperada completa |
| `short_answer` | string | Resposta resumida |
| `guidelines` | string | Diretrizes de correção (quando disponíveis) |
| `subject` | string | Disciplina/área |
| `difficulty` | int | Dificuldade estimada (1-10) |
| `images` | list | Imagens da questão |
| `image_descriptions` | list | Descrições textuais das imagens |
| `has_images` | bool | Se a questão contém imagens |
| `num_images` | int | Número de imagens |

## Usage

```python
from datasets import load_dataset

# Carregar o dataset
dataset = load_dataset("recogna-nlp/EduBench")

# Acessar questões
for item in dataset["test"]:
print(item["question_key"])
print(item["question"])
print(item["answer"])
print("---")

# Filtrar por vestibular
usp = dataset["test"].filter(lambda x: x["exam"] == "USP")

# Filtrar por disciplina
humanas = dataset["test"].filter(lambda x: x["subject"] == "Ciências Humanas")
```

## Citation

Este trabalho foi aceito no **LREC 2026**. Citação será disponibilizada após publicação.