matteogabburo/mTRECQA

mTRECQA数据集源自TREC-QA，该数据集基于TREC 8到TREC 13的问答赛道。TREC 8-12构成了训练集，而TREC 13的问题被用于开发和测试。该数据集已被翻译成五种欧洲语言：法语、德语、意大利语、葡萄牙语和西班牙语。数据集分为训练集、验证集和测试集，并且验证集和测试集还提供了两种预处理版本：clean（不含仅含负样本或正样本的问题）和++（不含仅含负样本的问题）。每个数据样本包含唯一的ID、问题ID、候选答案ID、标签、问题和候选答案。

The mTRECQA dataset originates from TREC-QA, created from the TREC 8 to TREC 13 QA tracks. The training set consists of TREC 8-12, while TREC 13 questions are used for development and testing. The dataset has been translated into five European languages: French, German, Italian, Portuguese, and Spanish. For each language, train, validation, and test splits are provided. Additionally, there are preprocessed versions of the validation and test splits: ++ (without questions with only negative answer candidates) and clean (without questions with only negative and only positive answer candidates). Each example in the dataset includes fields such as eid, qid, cid, label, question, and candidate.

原始信息汇总

mTRECQA 数据集概述

数据集描述

mTRECQA 源自 TREC-QA，由 TREC 8 到 TREC 13 的 QA 轨道创建。TREC 8-12 构成训练集，而 TREC 13 的问题用于开发和测试。

该数据集已被翻译成五种欧洲语言：法语、德语、意大利语、葡萄牙语和西班牙语。

任务类别

• 问答

语言

• 英语
• 法语
• 德语
• 意大利语
• 西班牙语
• 葡萄牙语

数据集大小

• 100K < n < 1M

配置

数据集提供多种配置，包括：

• default
• clean
• ++
• en
• de
• fr
• it
• po
• sp
• en_++
• de_++
• fr_++
• it_++
• po_++
• sp_++
• en_clean
• de_clean
• fr_clean
• it_clean
• po_clean
• sp_clean

数据文件

每个配置包含以下分割：

• train
• validation
• test

此外，验证和测试分割还提供以下预处理版本：

• ++: 不包含只有负面答案候选的问题
• clean: 不包含只有负面和只有正面答案候选的问题

数据格式

每个示例包含以下字段：

• eid: 示例的唯一ID
• qid: 问题的唯一ID
• cid: 答案候选的唯一ID
• label: 标识答案候选是否正确（1 表示正确，0 表示不正确）
• question: 问题
• candidate: 答案候选

引用

如需引用此数据集，请使用以下 BibTeX 格式：

@misc{gabburo2024datasetsmultilingualanswersentence, title={Datasets for Multilingual Answer Sentence Selection}, author={Matteo Gabburo and Stefano Campese and Federico Agostini and Alessandro Moschitti}, year={2024}, eprint={2406.10172}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2406.10172}, }