allenai/openbookqa|问答系统数据集|语言理解数据集

hugging_face2024-01-04 更新2024-03-04 收录

问答系统

语言理解

下载链接：

https://hf-mirror.com/datasets/allenai/openbookqa

下载链接

链接失效反馈

资源简介：

OpenBookQA数据集旨在促进高级问答研究，深入理解主题和语言表达。它包含需要多步推理、使用额外常识和丰富文本理解的问题。数据集分为main和additional两个配置，每个配置包含训练、验证和测试三个分割。数据字段包括问题ID、问题主干、选项、答案键等，additional配置还包含相关事实、人类评分、清晰度评分和匿名工作者ID。数据集的大小在1K到10K之间，语言为英语，任务类别为问答，任务ID为开放域问答。

提供机构：

allenai

原始信息汇总

数据集概述

数据集名称: OpenBookQA

语言: 英语 (en)

许可证: 未知

多语言性: 单语

大小类别: 1K<n<10K

源数据集: 原始

任务类别: 问答

任务ID: open-domain-qa

论文代码ID: openbookqa

美观名称: OpenBookQA

数据集结构

数据实例

main配置:
- id: 字符串类型
- question_stem: 字符串类型
- choices: 字典类型，包含text（字符串类型）和label（字符串类型）
- answerKey: 字符串类型
additional配置:
- id: 字符串类型
- question_stem: 字符串类型
- choices: 字典类型，包含text（字符串类型）和label（字符串类型）
- answerKey: 字符串类型
- fact1: 字符串类型
- humanScore: 浮点数类型
- clarity: 浮点数类型
- turkIdAnonymized: 字符串类型

数据分割

名称	训练	验证	测试
main	4957	500	500
additional	4957	500	500

数据集创建

注释创建者:

众包
专家生成

语言创建者:

专家生成

AI搜集汇总

数据集介绍

构建方式

OpenBookQA数据集的构建，旨在推进高级问答研究，通过融合主题的深入理解（以开放书籍形式提供的显著事实概要）与表达语言的理解。该数据集包含需要多步骤推理、额外常识知识运用以及丰富文本理解的问题。构建过程中，数据集由众包和专家生成两种方式共同完成注释，涵盖了问题、选项、答案以及相关事实和人类评分等信息。

特点

OpenBookQA数据集的特点在于其设计模拟了开卷考试的形式，以评估人类对某一主题的理解。数据集中的问题不仅需要语言理解，还需结合外部知识和逻辑推理。此外，数据集提供了丰富的事实信息和人类评分，有助于研究者在模型评估时进行更为深入的分析。

使用方法

使用OpenBookQA数据集时，研究者可以根据数据集提供的训练集、验证集和测试集进行模型训练和评估。数据集以JSON格式存储，其中每个实例包含了问题、选项、正确答案以及与问题相关的核心事实等字段。用户需遵循数据集的结构和字段定义进行数据加载和处理，以开展开放域问答等任务的研究。

背景与挑战

背景概述

OpenBookQA数据集，由Allen Institute for Artificial Intelligence（AI2）创建于2018年，主要研究人员包括Todor Mihaylov、Peter Clark、Tushar Khot和Ashish Sabharwal。该数据集的核心研究问题是推动高级问答研究，通过多步骤推理、使用额外的常见知识和丰富的文本理解，评估机器对开放书籍中主题的理解。OpenBookQA模仿开放书籍考试的形式，旨在评估人类对一个学科的理解。该数据集对相关领域产生了重要影响，为开放域问答任务提供了一种新的评估方式。

当前挑战

OpenBookQA数据集在构建过程中遇到的挑战主要包括：如何设计能够涵盖广泛知识面的问题，以及如何确保提供的选项能够有效测试多步骤推理和常识知识。此外，数据集的创建还需克服如何平衡问题的难度和多样性，以及如何保证标注质量等问题。在所解决的领域问题方面，OpenBookQA面临的挑战是如何准确评估模型对于需要综合运用背景知识和文本理解能力的问题的回答能力。

常用场景

经典使用场景

在深入探索开放式问题回答领域的研究中，OpenBookQA数据集以其独特的开放书本考试形式，成为评估机器对学科理解深度的重要资源。该数据集的设计理念在于促使研究深入理解主题相关的关键事实以及语言的表述方式，其经典的使用场景主要集中于多步骤推理、运用常识知识以及丰富的文本理解能力的评估。

实际应用

在实际应用中，OpenBookQA数据集的模型可以被用于开发高级的问答系统，例如在线教育平台中的智能辅导系统，能够对学生的学习理解能力进行更准确的评估，提供更加个性化的学习建议。

衍生相关工作

基于OpenBookQA数据集，学术界已经衍生出一系列相关工作，包括对模型多步骤推理能力的分析、常识知识库的构建与应用，以及如何在机器学习模型中更好地融入人类知识，这些研究进一步推动了人工智能领域的理论进步和技术发展。

以上内容由AI搜集并总结生成

用户留言

有没有相关的论文或文献参考？

这个数据集是基于什么背景创建的？

数据集的作者是谁？

能帮我联系到这个数据集的作者吗？

这个数据集如何下载？

点击留言

数据主题

具身智能

数据集 4098个

机构 8个

大模型

数据集 439个

机构 10个

无人机

数据集 37个

机构 6个

指令微调

数据集 36个

机构 6个

蛋白质结构

数据集 50个

机构 8个

空间智能

数据集 21个

机构 5个

5,000+

优质数据集

54 个

任务类型

进入经典数据集

热门数据集

Materials Project 在线材料数据库

Materials Project 是一个由伯克利加州大学和劳伦斯伯克利国家实验室于 2011 年共同发起的大型开放式在线材料数据库。这个项目的目标是利用高通量第一性原理计算，为超过百万种无机材料提供全面的性能数据、结构信息和计算模拟结果，以此加速新材料的发现和创新过程。数据库中的数据不仅包括晶体结构和能量特性，还涵盖了电子结构和热力学性质等详尽信息，为研究人员提供了丰富的材料数据资源。相关论文成果为「Commentary: The Materials Project: A materials genome approach to accelerating materials innovation」。

超神经收录

OpenPose

OpenPose数据集包含人体姿态估计的相关数据，主要用于训练和评估人体姿态检测算法。数据集包括多视角的图像和视频，标注了人体关键点位置，适用于研究人体姿态识别和动作分析。

github.com 收录

全国 1∶200 000 数字地质图（公开版）空间数据库

As the only one of its kind, China National Digital Geological Map (Public Version at 1∶200 000 scale) Spatial Database (CNDGM-PVSD) is based on China' s former nationwide measured results of regional geological survey at 1∶200 000 scale, and is also one of the nationwide basic geosciences spatial databases jointly accomplished by multiple organizations of China. Spatially, it embraces 1 163 geological map-sheets (at scale 1: 200 000) in both formats of MapGIS and ArcGIS, covering 72% of China's whole territory with a total data volume of 90 GB. Its main sources is from 1∶200 000 regional geological survey reports, geological maps, and mineral resources maps with an original time span from mid-1950s to early 1990s. Approved by the State's related agencies, it meets all the related technical qualification requirements and standards issued by China Geological Survey in data integrity, logic consistency, location acc racy, attribution fineness, and collation precision, and is hence of excellent and reliable quality. The CNDGM-PVSD is an important component of China' s national spatial database categories, serving as a spatial digital platform for the information construction of the State's national economy, and providing informationbackbones to the national and provincial economic planning, geohazard monitoring, geological survey, mineral resources exploration as well as macro decision-making.

DataCite Commons 收录

NuminaMath-CoT

数据集包含约86万道数学题目，每道题目的解答都采用思维链（Chain of Thought, CoT）格式。数据来源包括中国高中数学练习题以及美国和国际数学奥林匹克竞赛题目。数据主要从在线考试试卷PDF和数学讨论论坛收集。处理步骤包括从原始PDF中进行OCR识别、分割成问题-解答对、翻译成英文、重新对齐以生成CoT推理格式，以及最终答案格式化。

huggingface 收录

URPC系列数据集, S-URPC2019, UDD

URPC系列数据集包括URPC2017至URPC2020DL，主要用于水下目标的检测和分类。S-URPC2019专注于水下环境的特定检测任务。UDD数据集信息未在README中详细描述。

github 收录