haritzpuerto/MetaQA_Agents_Predictions

该数据集包含了多个问答（QA）代理对多个QA数据集的预测结果。这些代理包括Span-Extraction Agents、Multiple-Choice Agents、Abstractive Agents和Multimodal Agents。数据集的结构包括每个代理的文件夹，文件夹内包含每个数据集的预测文件。数据集的所有QA数据集都使用英语，因此代理的预测结果也是英语。该数据集的目的是帮助开发新的多代理模型，并分析QA模型的预测结果。

原始信息汇总

MetaQA Agents Predictions 数据集概述

数据集描述

• 语言: 英语
• 许可证: Apache-2.0
• 多语言性: 单语种
• 标签: 多代理问答、多代理QA、预测
• 任务类别: 问答

数据集总结

本数据集包含多个问答代理对各种问答数据集的预测结果。具体包括：

抽取式代理

• 代理: Span-BERT Large (Joshi et al.,2020)，分别在不同的数据集上训练，包括SQuAD、NewsQA、HotpotQA、SearchQA、Natural Questions、TriviaQA-web、QAMR、DuoRC、DROP。

多选题代理

• 代理: RoBERTa Large (Liu et al., 2019)、AlBERT xxlarge-v2 (Lan et al., 2020)、BERT Large-wwm (Devlin et al., 2019)，分别在RACE、Commonsense QA、BoolQ、HellaSWAG、Social IQA上训练。

摘要式代理

• 代理: TASE (Segal et al., 2020)、BART Large with Adapters (Pfeiffer et al., 2020)，分别在DROP和NarrativeQA上训练。

多模态代理

• 代理: Hybrider (Chen et al., 2020)，在HybridQA上训练。

数据集结构

每个代理都有一个文件夹，内部包含每个数据集的四个文件：

• predict_nbest_predictions.json
• predict_predictions.json / predictions.json
• predict_results.json（仅限抽取式代理）

文件结构

• predict_nbest_predictions.json: 包含每个问题的多个预测答案及其概率。
• predict_predictions.json: 包含每个问题的最终预测答案。

数据分割

所有问答数据集均包含训练集、验证集和测试集。

使用数据集的注意事项

• 社会影响: 本数据集旨在帮助开发新的多代理模型并分析问答模型的预测。
• 偏见讨论: 使用的问答模型可能不完美，可能生成错误数据并包含偏见，发布这些预测有助于识别模型中的缺陷。