有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
2WikiMultiHopQA|多跳问答数据集|机器阅读理解数据集
收藏arXiv2020-11-12 更新2024-06-21 收录
下载链接：
https://github.com/Alab-NII/2wikimultihop
下载链接
链接失效反馈资源简介：
2WikiMultiHopQA是一个大规模、高质量的多跳问答数据集，由日本的高级研究大学院大学和国家信息学研究所创建。该数据集包含192,606条数据，旨在通过要求模型阅读多个段落来测试推理和推断技能。数据集通过结合结构化和非结构化数据，引入了证据信息，包含多跳问题的推理路径，有助于解释预测和评估模型的推理能力。数据集创建过程中，设计了详细的流程和模板，确保问题的多跳步骤和质量。应用领域包括机器阅读理解，旨在解决需要复杂推理的问答问题。
提供机构：
高级研究大学院大学，神奈川，日本
创建时间：
2020-11-02
AI搜集汇总
数据集介绍
构建方式
2WikiMultiHopQA数据集的构建，旨在通过结合维基百科和维基数据中的结构化和非结构化数据，创建一个包含推理路径证据信息的多跳问答数据集。数据集的生成过程包括三个主要步骤：创建模板集、生成数据和后处理生成的数据。首先，根据HotpotQA数据集中比较问题的训练数据，使用Spacy工具提取命名实体识别标签和标签，并创建一系列模板。接着，利用这些模板和实体信息生成比较问题、推理问题、组合问题和桥接比较问题。最后，对生成的数据进行后处理，以确保每个问题只有一个答案，并平衡是/否问题的数量。
特点
2WikiMultiHopQA数据集的特点包括：1）提供从问题到答案的全面解释；2）包含推理路径证据信息，有助于解释预测和评估模型的推理能力；3）使用逻辑规则生成自然但需要多跳推理的问题；4）包含四种类型的问题：比较、推理、组合和桥接比较。
使用方法
使用2WikiMultiHopQA数据集的方法包括：1）使用数据集进行多跳问答模型的训练和评估；2）利用数据集中的证据信息来解释预测结果；3）通过分析数据集中的推理类型和答案类型，研究多跳推理的能力；4）使用基准模型进行评估，并与人类表现进行比较，以评估数据集的难度和挑战性。
背景与挑战
背景概述
2WikiMultiHopQA数据集的创建旨在为机器阅读理解领域提供一个能够测试推理和推理能力的新数据集。这个数据集由Xanh Ho、Anh-Khoa Duong Nguyen、Saku Sugawara和Akiko Aizawa等研究人员于2020年构建，他们来自日本神奈川县的先进科学研究生院和东京国立信息学研究所。2WikiMultiHopQA数据集的创建是为了解决现有数据集中缺乏对推理过程的完整解释以及许多示例不需要多跳推理的问题。该数据集使用了结构化和非结构化数据，并引入了证据信息，其中包含了多跳问题的推理路径。证据信息的好处在于提供了预测的全面解释，并能够评估模型的推理能力。研究人员精心设计了一个管道和一组模板，在生成问题-答案对时保证了多跳步骤和问题的质量。此外，他们还利用了Wikidata的结构化格式，并使用逻辑规则来创建自然但仍然需要多跳推理的问题。通过实验，他们证明了该数据集对多跳模型具有挑战性，并确保了多跳推理的必要性。
当前挑战
2WikiMultiHopQA数据集面临的挑战主要包括：1)解决领域问题的挑战：该数据集旨在测试推理和推理能力，要求模型阅读多个段落来回答给定的问题。然而，现有的数据集并没有提供从问题到答案的推理过程的完整解释，并且许多示例不需要多跳推理来回答问题。2)构建过程中的挑战：在构建过程中，研究人员面临了如何生成包含多跳步骤和高质量问题的数据集的挑战。他们通过使用预定义的模板和逻辑规则来生成问题，并确保了问题的多跳性质和质量。此外，他们还利用了Wikidata的结构化格式来创建自然但仍然需要多跳推理的问题。在数据集的生成过程中，他们还面临了如何处理Wikipedia和Wikidata之间信息不匹配的问题。为了解决这一问题，他们使用了启发式方法来排除不匹配的案例，并通过实验验证了数据集的质量。
常用场景
经典使用场景
2WikiMultiHopQA数据集主要用于评估和训练机器阅读理解模型的多跳推理能力。该数据集要求模型阅读多个段落，并根据问题进行多跳推理以找到答案。数据集中的每个问题都包含证据信息，解释从问题到答案的推理路径，这使得模型不仅需要理解文本内容，还需要理解逻辑关系和推理过程。
实际应用
2WikiMultiHopQA数据集在实际应用中，可以用于评估和训练机器阅读理解模型的多跳推理能力，帮助模型更好地理解和解释文本内容。此外，该数据集还可以用于研究多跳推理的相关问题，如推理过程解释、推理能力评估等。同时，由于该数据集是基于维基百科和维基数据构建的，因此还可以用于研究知识图谱和文本数据的交叉应用问题。
衍生相关工作
2WikiMultiHopQA数据集的发布，促进了多跳推理相关研究的发展。基于该数据集，研究人员可以设计和开发更先进的机器阅读理解模型，并探索多跳推理的相关问题。此外，2WikiMultiHopQA数据集的发布，还为其他多跳数据集的构建提供了参考和借鉴，推动了多跳推理研究的进一步发展。
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
Materials Project 在线材料数据库
Materials Project 是一个由伯克利加州大学和劳伦斯伯克利国家实验室于 2011 年共同发起的大型开放式在线材料数据库。这个项目的目标是利用高通量第一性原理计算，为超过百万种无机材料提供全面的性能数据、结构信息和计算模拟结果，以此加速新材料的发现和创新过程。数据库中的数据不仅包括晶体结构和能量特性，还涵盖了电子结构和热力学性质等详尽信息，为研究人员提供了丰富的材料数据资源。相关论文成果为「Commentary: The Materials Project: A materials genome approach to accelerating materials innovation」。
超神经 收录
中国区域地面气象要素驱动数据集 v2.0（1951-2020）
中国区域地面气象要素驱动数据集（China Meteorological Forcing Data，以下简称 CMFD）是为支撑中国区域陆面、水文、生态等领域研究而研发的一套高精度、高分辨率、长时间序列数据产品。本页面发布的 CMFD 2.0 包含了近地面气温、气压、比湿、全风速、向下短波辐射通量、向下长波辐射通量、降水率等气象要素，时间分辨率为 3 小时，水平空间分辨率为 0.1°，时间长度为 70 年（1951~2020 年），覆盖了 70°E~140°E，15°N~55°N 空间范围内的陆地区域。CMFD 2.0 融合了欧洲中期天气预报中心 ERA5 再分析数据与气象台站观测数据，并在辐射、降水数据产品中集成了采用人工智能技术制作的 ISCCP-ITP-CNN 和 TPHiPr 数据产品，其数据精度较 CMFD 的上一代产品有显著提升。 CMFD 历经十余年的发展，其间发布了多个重要版本。2019 年发布的 CMFD 1.6 是完全采用传统数据融合技术制作的最后一个 CMFD 版本，而本次发布的 CMFD 2.0 则是 CMFD 转向人工智能技术制作的首个版本。此版本与 1.6 版具有相同的时空分辨率和基础变量集，但在其它诸多方面存在大幅改进。除集成了采用人工智能技术制作的辐射和降水数据外，在制作 CMFD 2.0 的过程中，研发团队尽可能采用单一来源的再分析数据作为输入并引入气象台站迁址信息，显著缓解了 CMFD 1.6 中因多源数据拼接和气象台站迁址而产生的虚假气候突变。同时，CMFD 2.0 数据的时间长度从 CMFD 1.6 的 40 年大幅扩展到了 70 年，并将继续向后延伸。CMFD 2.0 的网格空间范围虽然与 CMFD 1.6 相同，但其有效数据扩展到了中国之外，能够更好地支持跨境区域研究。为方便用户使用，CMFD 2.0 还在基础变量集之外提供了若干衍生变量，包括近地面相对湿度、雨雪分离降水产品等。此外，CMFD 2.0 摒弃了 CMFD 1.6 中通过 scale_factor 和 add_offset 参数将实型数据化为整型数据的压缩技术，转而直接将实型数据压缩存储于 NetCDF4 格式文件中，从而消除了用户使用数据时进行解压换算的困扰。 本数据集原定版本号为 1.7，但鉴于本数据集从输入数据到研制技术都较上一代数据产品有了大幅的改变，故将其版本号重新定义为 2.0。CMFD 2.0 的数据内容与此前宣传的 CMFD 1.7 基本一致，仅对 1983 年 7 月以后的向下短/长波辐射通量数据进行了更新，以修正其长期趋势存在的问题。2021 年至 2024 年的 CMFD 数据正在制作中，计划于 2025 年上半年发布，从而使 CMFD 2.0 延伸至 2024 年底。
国家青藏高原科学数据中心 收录
中文高质量大模型多轮对话SFT数据集
该数据集来源于晴数智慧LLM多领域超自然SFT多轮对话文本数据集。该数据集包含97184轮中文自然对话句子，涉及【家庭生活、教育医疗、军事战争、科学技术、气候环境、人文科学、商业经济、数码产品、体育竞技、休闲娱乐、衣食住行、艺术美术、政治法律、职业发展、宗教信仰】15个主题。领域覆盖多样，也可以单独抽取相关领域的数据进行领域SFT。本次开源的部分数据，由来自中国的644名不同ID的采集人独家贡献，北京晴数智慧科技有限公司进行授权采集。每组对话由两位采集人围绕一个主题展开，上下文对话与当前的内容逻辑相关。适用于训练大模型多轮对话 (back and forth conversation)、上下文逻辑推理能力，以及端到端对话大模型。
OpenDataLab 收录
FLIR Dataset
该数据集主要提供三种类型的热成像图像：训练集包含8862张热成像图像，验证集包含1366张热成像图像，视频集包含4224张热成像图像。这些图像被用于训练YOLOv3检测器，并在验证集上报告了mAP。视频集用于跟踪检测到的对象。
github 收录
CKMImageNet
CKMImageNet是一个旨在推进AI驱动的环境感知无线通信和感知研究的综合数据集，由东南大学国家移动通信研究实验室提供。该数据集整合了位置特定的通道知识数据、高保真环境地图及其视觉表示。CKMImageNet支持多种AI驱动的方法进行通道知识图（CKM）构建，包含监督和非监督、判别和生成AI方法。数据集利用先进的射线追踪技术构建，确保了高保真度和环境准确性。它为AI模型学习环境感知传播模式提供了基础工具，可应用于6G系统的网络规划、资源分配等领域。
arXiv 收录