vsvasconcelos/SQuAD-pt_BR-V1.1_

---
license: mit
language:
- pt
size_categories:
- 100K<n<1M
---

# Dataset Card para o SQuAD 1.1 em Português Brasil

O conjunto de dados "Stanford Question Answering Dataset" ([SQuAD](https://drive.google.com/file/d/1Q0IaIlv2h2BC468MwUFmUST0EyN7gNkn/view)),
para **tarefa de perguntas e respostas extrativas**, foi desenvolvido em 2016. Ele utiliza perguntas geradas a partir de
**536 artigos da Wikipedia*** com **mais de 100.000 linhas** de dados. É construído na forma de uma pergunta e um contexto dos artigos da
Wikipedia contendo a resposta à pergunta. [[1]](https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1174/reports/2761899.pdf)
Originalmente este dataset foi construído no idioma inglês, contudo, o grupo [Deep Learning Brasil](http://www.deeplearningbrasil.com.br/) o
traduziu automaticamente e fez os ajustes manuais, gastando para isto cerca de 2 meses. [[2]](https://sol.sbc.org.br/index.php/kdmile/article/view/24974)

## Dataset Details

### Dataset Description

O desenvolvedores fornecem dois arquivos: **squad-train-v1.1.json** e **squad-dev-v1.1.json**, sendo o primeiro para treinamento e o
segundo para validação. Os arquivos possuem, respectivamente, as seguintes quantidades de registros: 87.510 e 17.853, totalizando assim:
105.363 registros. Percentualmente isto equivale a 83% dos dados para treinamento e 17% dos dados para validação.
Após Análise Exploratória do dataset, verificou-se a existência de 7.283 'Id's repetidos no conjunto de validação, assim, ao invés de 17.853 registros,
o conjunto de validação possuí 10.570 'Id's únicos. Desta forma, os 7.283 'Id's repetidos foram excluídos do dataset de validação original.

No universo de Machine Learning, é comum a divisão dos datasets em: Treinamento; Validação; e Testes. Assim, por que aqui não foi fornecido
os dados de Testes? Pesquisando em [[1]](https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1174/reports/2761899.pdf), temos:
> "[...] Utilizamos 80% do conjunto de dados para treinar o modelo, 10% para validação e ajuste hiperparâmetro. **Os 10% finais do conjunto
> de dados são reservados para testes** e **mantidos privados** pelos criadores da equipe com o objetivo de preservar a integridade dos
> modelos de resposta a perguntas."

Portanto, **os autores não disponibilizaram os 10% de dados para testes**. Sendo assim, este dataset faz os seguintes ajustes: Mantem os
dados originais do conjunto de treinamento e dividi o conjunto de validação em duas partes: validação (5.500 registros (5,6%) dos dados) e
testes (5070 registros (5,2%) dos dados).

- **Curated by:** [More Information Needed]
- **Funded by [optional]:** [More Information Needed]
- **Shared by [optional]:** [More Information Needed]
- **Language(s) (NLP):** [More Information Needed]
- **License:** [More Information Needed]

### Dataset Sources [optional]

<!-- Provide the basic links for the dataset. -->

- **Repository:** [More Information Needed]
- **Paper [optional]:** [More Information Needed]
- **Demo [optional]:** [More Information Needed]

## Uses

<!-- Address questions around how the dataset is intended to be used. -->

### Direct Use

<!-- This section describes suitable use cases for the dataset. -->

[More Information Needed]

### Out-of-Scope Use

<!-- This section addresses misuse, malicious use, and uses that the dataset will not work well for. -->

[More Information Needed]

## Dataset Structure

**features:** 'Id', 'title', 'context', 'question', 'ans_start', 'text'
**'Id':** identificador único
**'title':** Assunto do qual o contexto trata
**'context':** Texto que contém a resposta para a questão
**'question':** Questão respondida por meio do contexto
**'ans_start':** Posição inicial da resposta à questão
**'text':** Resposta à questão

[More Information Needed]

## Dataset Creation

### Curation Rationale

<!-- Motivation for the creation of this dataset. -->

[More Information Needed]

### Source Data

Wikipedia

#### Data Collection and Processing

<!-- This section describes the data collection and processing process such as data selection criteria, filtering and normalization methods, tools and libraries used, etc. -->

[More Information Needed]

#### Who are the source data producers?

<!-- This section describes the people or systems who originally created the data. It should also include self-reported demographic or identity information for the source data creators if this information is available. -->

[More Information Needed]

### Annotations [optional]

<!-- If the dataset contains annotations which are not part of the initial data collection, use this section to describe them. -->

#### Annotation process

<!-- This section describes the annotation process such as annotation tools used in the process, the amount of data annotated, annotation guidelines provided to the annotators, interannotator statistics, annotation validation, etc. -->

[More Information Needed]

#### Who are the annotators?

<!-- This section describes the people or systems who created the annotations. -->

[More Information Needed]

#### Personal and Sensitive Information

<!-- State whether the dataset contains data that might be considered personal, sensitive, or private (e.g., data that reveals addresses, uniquely identifiable names or aliases, racial or ethnic origins, sexual orientations, religious beliefs, political opinions, financial or health data, etc.). If efforts were made to anonymize the data, describe the anonymization process. -->

[More Information Needed]

## Bias, Risks, and Limitations

<!-- This section is meant to convey both technical and sociotechnical limitations. -->

[More Information Needed]

### Recommendations

<!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. -->

Users should be made aware of the risks, biases and limitations of the dataset. More information needed for further recommendations.

## Citation [optional]

<!-- If there is a paper or blog post introducing the dataset, the APA and Bibtex information for that should go in this section. -->

**BibTeX:**

[More Information Needed]

**APA:**

[More Information Needed]

## Glossary [optional]

<!-- If relevant, include terms and calculations in this section that can help readers understand the dataset or dataset card. -->

[More Information Needed]

## More Information [optional]

[More Information Needed]

## Dataset Card Authors [optional]

[More Information Needed]

## Dataset Card Contact

[More Information Needed]

原始信息汇总

数据集卡片：葡萄牙语巴西版的SQuAD 1.1

数据集详情

数据集描述

SQuAD 1.1 是一个用于抽取式问答任务的数据集，由2016年开发。它基于536篇维基百科文章，包含超过100,000行数据。数据集以问题和包含答案的维基百科文章段落的形式构建。[1]

原始数据集为英文版本，但Deep Learning Brasil 团队将其自动翻译并进行手动调整，耗时约2个月。[2]

数据集文件

数据集提供两个文件：squad-train-v1.1.json 和 squad-dev-v1.1.json，分别用于训练和验证。文件包含的记录数量分别为87,510和17,853，总计105,363条记录。这相当于83%的数据用于训练，17%的数据用于验证。

经过探索性数据分析，发现验证集中存在7,283个重复的Id，因此验证集实际包含10,570个唯一Id。重复的7,283个Id已从原始验证集中删除。

数据集分割

在机器学习中，数据集通常分为训练、验证和测试集。本数据集未提供测试数据，因为作者保留了10%的数据用于测试，并保持私有，以维护问答模型的完整性。[1]

因此，本数据集调整如下：保持原始训练数据不变，将验证集分为两部分：验证集（5,500条记录，占5.6%）和测试集（5,070条记录，占5.2%）。

数据集结构

特征： Id, title, context, question, ans_start, text

• Id: 唯一标识符
• title: 上下文涉及的主题
• context: 包含问题答案的文本
• question: 通过上下文回答的问题
• ans_start: 答案的起始位置
• text: 问题的答案

数据集来源

数据来源于维基百科。

搜集汇总

数据集介绍

构建方式

该数据集源自经典的斯坦福问答数据集（SQuAD 1.1），专为抽取式问答任务设计。原始英文版本基于536篇维基百科文章，包含超过10万条问答对，每条数据由问题、包含答案的上下文文本及答案起始位置构成。巴西深度学习小组（Deep Learning Brasil）对该数据集进行了本地化改造：首先通过自动翻译技术将英文语料转换为巴西葡萄牙语，随后投入约两个月时间进行人工校对与语义修正，以确保翻译的准确性与语言自然度。最终生成两个JSON文件——squad-train-v1.1.json（87,510条记录）和squad-dev-v1.1.json（17,853条记录），合计105,363条样本。值得注意的是，验证集中存在7,283个重复ID，经清洗后保留10,570个唯一ID，并将验证集进一步拆分为5,500条验证样本和5,070条测试样本，以弥补原版未公开测试集的不足。

特点

该数据集的核心特点在于其高质量的跨语言迁移与精细的数据治理。作为巴西葡萄牙语版本的SQuAD，它保留了原版抽取式问答的结构化优势，即每条数据明确标注答案在上下文中的起始位置，便于模型学习精确的文本定位能力。数据规模达到十万级，训练集与验证集的比例约为83%比17%，经重复ID剔除后，验证集与测试集的划分更为科学（5.6%和5.2%），为模型评估提供了可靠的基准。此外，数据集包含'Id'、'title'、'context'、'question'、'ans_start'和'text'六个字段，其中'title'字段关联维基百科主题，增强了语料的领域多样性。人工翻译与校对流程确保了葡萄牙语的自然流畅性，使其成为非英语问答任务研究的重要资源。

使用方法

该数据集的使用遵循标准抽取式问答流程。用户可通过HuggingFace的datasets库直接加载，或下载JSON文件进行自定义处理。在模型训练阶段，建议将squad-train-v1.1.json作为训练集，利用'context'和'question'字段构建输入，并以'ans_start'为监督信号优化答案起始位置的预测。验证与测试阶段分别使用清洗后的5,500条和5,070条样本评估模型性能。由于原版SQuAD的测试集未公开，该数据集的拆分方案有效弥补了这一缺陷，用户可直接将测试结果用于论文或竞赛中的性能对比。此外，数据集采用MIT开源许可，允许自由修改与商用，为多语言问答系统的研发提供了便利。

背景与挑战

背景概述

在自然语言处理领域，抽取式问答任务要求模型从给定文本中精确定位答案，是衡量机器阅读理解能力的重要基准。SQuAD（Stanford Question Answering Dataset）由斯坦福大学于2016年创建，基于536篇维基百科文章构建了超过10万条问答对，迅速成为该领域的标杆数据集。其葡萄牙语版本SQuAD-pt_BR-V1.1由Deep Learning Brasil团队主导，通过自动翻译与耗时约两个月的细致人工校对完成，旨在将这一关键资源拓展至葡语社区。该数据集不仅填补了低资源语言在抽取式问答任务上的空白，还推动了多语言自然语言理解研究的发展，为评估模型在不同语言背景下的泛化能力提供了重要工具。

当前挑战

该数据集面临的核心挑战包括：首先，抽取式问答本身要求模型精确理解上下文语义并定位答案起止位置，对长文本推理和噪声鲁棒性提出高要求，尤其在葡语形态丰富的语法结构下更具难度。其次，构建过程中，原始SQuAD的测试集被创作者私有保留，团队不得不将原始验证集拆分为新的验证集（5.6%）和测试集（5.2%），导致数据划分偏离标准比例，可能影响模型评估的公平性。此外，自动翻译引入的语义偏差与人工校对的主观性，使得部分问答对的答案边界不够明确，增加了标注噪声。最后，验证集中发现7283个重复ID，虽经剔除但暴露出数据清洗流程的潜在不完善，需后续优化以提升数据质量。

常用场景

经典使用场景

SQuAD-pt_BR-V1.1_作为葡萄牙语（巴西）版本的斯坦福问答数据集，其经典使用场景聚焦于抽取式机器阅读理解任务。研究者利用该数据集训练模型，使其能够从给定的维基百科段落中精准定位并抽取与问题对应的答案片段。该数据集包含超过10万条问答对，覆盖536篇维基百科文章，为跨语言迁移学习和低资源语言的自然语言处理研究提供了宝贵的基准资源。通过在此数据集上进行训练与评估，模型能够学习到葡萄牙语中复杂的句法结构与语义关系，从而提升在葡萄牙语场景下的文本理解与信息检索能力。

衍生相关工作

该数据集衍生了一系列经典工作，包括基于BERT的葡萄牙语预训练模型（如BERTimbau）的微调与评估，以及跨语言蒸馏方法的研究。研究者利用此数据集对比了多语言模型（如mBERT、XLM-R）与单语模型在葡萄牙语问答任务上的性能差异。此外，该数据集催生了针对葡萄牙语问答系统的数据增强策略（如回译、噪声注入）和鲁棒性分析工作，并推动了SQuAD-pt_BR在对话系统、多跳推理等更复杂任务中的拓展应用，成为葡语NLP领域的重要基石。

数据集最近研究

最新研究方向

当前，SQuAD-pt_BR-V1.1数据集在葡萄牙语自然语言处理领域扮演着关键角色，特别是在抽取式问答系统的前沿研究中。随着多语言和低资源语言NLP需求的激增，该数据集为巴西葡萄牙语的机器阅读理解提供了标准化基准。近期研究聚焦于跨语言迁移学习与预训练语言模型（如BERTimbau、XLM-R）在葡萄牙语上的微调与优化，以提升复杂语境下的答案定位精度。此外，结合维基百科多领域知识，该数据集被用于探索弱监督与数据增强技术，应对标注数据稀缺问题。其影响不仅推动了葡萄牙语问答系统的实用化进程，也为拉丁美洲数字包容性发展奠定了语言技术基础，助力智能客服与教育领域的本地化应用落地。