stanfordnlp/concurrentqa

ConcurrentQA是一个文本多跳问答基准，要求在多数据分布（如维基百科和电子邮件数据）上进行并发检索。该数据集由斯坦福大学和FAIR的研究人员构建，遵循HotpotQA的数据收集过程和模式。该基准可用于研究检索中的泛化以及跨多个隐私范围（如公共维基百科文档和私人电子邮件）进行推理时的隐私问题。数据集适用于问答任务，检索任务的数据集可通过提供的链接获取。

原始信息汇总

数据集概述

基本信息

• 许可证：MIT
• 任务类别：问答（Question-Answering）
• 语言：英语（en）

数据集描述

• 名称：ConcurrentQA
• 类型：文本多跳问答基准
• 目的：用于研究在多个数据分布（如维基百科和电子邮件数据）上的并发检索以及跨多个隐私范围的推理（如公共维基百科文档和私人电子邮件）。
• 构建者：斯坦福大学和FAIR的研究人员
• 数据收集过程和模式：遵循HotpotQA的数据收集过程和模式

相关资源

• 文档语料库下载命令： bash cd .. mkdir corpora cd corpora

  wget https://dl.fbaipublicfiles.com/concurrentqa/corpora/enron_only_corpus.json wget https://dl.fbaipublicfiles.com/concurrentqa/corpora/combined_corpus.json wget https://dl.fbaipublicfiles.com/concurrentqa/corpora/wiki_only_corpus.json wget https://dl.fbaipublicfiles.com/concurrentqa/corpora/title2sent_map.json

引用信息

• 论文标题：Reasoning over Public and Private Data in Retrieval-Based Systems
• 作者：Simran Arora, Patrick Lewis, Angela Fan, Jacob Kahn, Christopher Ré
• 年份：2023
• 期刊：Transactions of the Association for Computational Linguistics
• URL：https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00556/116046/Aggretriever-A-Simple-Approach-to-Aggregate