unicamp-dl/quati|信息检索数据集|自然语言处理数据集

Quati数据集旨在支持巴西葡萄牙语（pt-br）信息检索系统的发展，提供了原始的pt-br文档段落以及由母语者创建的查询（主题）。数据集有两个版本：1M和10M，分别包含1百万和10百万个段落，并附带验证*qrels*用于系统评估。

原始信息汇总

Quati Information Retrieval Dataset 概述

数据集基本信息

• 名称: Quati Information Retrieval Dataset
• 语言: 巴西葡萄牙语 (pt-br)
• 大小: 1M<n<10M
• 许可: Creative Commons Attribution 4.0 International (CC BY 4.0)
• 任务类别: 问答

数据集内容

• 目标: 支持巴西葡萄牙语信息检索系统的发展。
• 内容: 包含由母语者创建的文档段落和查询（主题）。

数据集版本

• 1M版本: 包含100万个段落。
• 10M版本: 包含1000万个段落。

数据集使用

• 用途: 用于评估针对巴西葡萄牙语文档的信息检索系统。
• 扩展性: 数据集的创建和标注流程可用于进一步扩展段落标注或创建其他针对特定语言的IR数据集。

数据集获取

• 1M段落: python

  quati_1M_passages = load_dataset("unicamp-dl/quati", "quati_1M_passages")

• 10M段落: python

  quati_10M_all = load_dataset("unicamp-dl/quati", "quati_10M_passages")

• qrels（相关性判断）: python

  quati_1M_qrels = load_dataset("unicamp-dl/quati", "quati_1M_qrels") quati_10M_qrels = load_dataset("unicamp-dl/quati", "quati_10M_qrels")

• 主题: python

  quati_all_topics = load_dataset("unicamp-dl/quati", "quati_all_topics") quati_test_topics = load_dataset("unicamp-dl/quati", "quati_test_topics")

• 完整数据集: 可通过克隆Hugging Face Hub上的git仓库获取。

  git clone [e-mail]:datasets/unicamp-dl/quati quati_dataset