bobox/OpenbookQA-4ST

OpenBookQA-forSentenceTransformers数据集是基于OpenBookQA数据集修改而来，专门为句子转换器（sentence transformers）设计。该数据集旨在促进高级问答研究，特别是需要多步推理、使用额外常识和丰富文本理解的问题。数据集包含两个配置：all和filtered，其中filtered版本是基于人类评估和清晰度分数筛选的子集，仅包含HumanScore > 0.9和Clarity > 1.4的问题。数据集的主要任务类别是问答和句子相似性，任务ID为开放域问答。数据集的语言为英语，大小为1K<n<10K，属于单语言数据集。数据集的来源是原始的OpenBookQA数据集，注释由众包和专家生成。数据集的结构包括问题、事实、答案、负面例子、人类评分和清晰度评分等字段。数据集的下载大小为2.89 MB，生成数据集的大小为2.88 MB，总磁盘使用量为5.78 MB。

The OpenBookQA-forSentenceTransformers dataset is a modified version of the OpenBookQA dataset, specifically designed for sentence transformers. This dataset aims to promote research in advanced question-answering, particularly questions that require multi-step reasoning, use of additional common and commonsense knowledge, and rich text comprehension. The dataset includes two configurations: all and filtered, where the filtered version is a subset based on human evaluation and clarity scores, including only questions with HumanScore > 0.9 and Clarity > 1.4. The primary task categories are question-answering and sentence similarity, with the task ID being open-domain QA. The dataset is in English, with a size of 1K<n<10K, and is monolingual. The source of the dataset is the original OpenBookQA dataset, with annotations created by crowdsourcing and expert generation. The dataset structure includes fields such as question, fact, answer, negatives, HumanScore, and Clarity. The download size of the dataset is 2.89 MB, the generated dataset size is 2.88 MB, and the total disk usage is 5.78 MB.

原始信息汇总

OpenBookQA-forSentenceTransformers 数据集概述

数据集描述

数据集摘要

• 语言: 英语
• 许可: 未知
• 多语言性: 单语种
• 数据集大小: 1K<n<10K
• 源数据集: 原始数据集
• 任务类别:
  • 问答
  • 句子相似度
• 任务ID: 开放领域问答
• PapersWithCode ID: openbookqa
• 数据集名称: OpenBookQA-forSentenceTransformers

数据集结构

配置

• 配置名称: all

  • 特征:
    • question: 字符串
    • fact: 字符串
    • answer: 字符串
    • negatives: 字符串序列
    • HumanScore: 浮点数
    • Clarity: 浮点数
  • 分割:
    • train: 4957个样本, 1067030字节
    • test: 500个样本, 108985字节
    • validation: 500个样本, 114183字节
  • 下载大小: 739046字节
  • 数据集大小: 1290198字节

• 配置名称: filtered

  • 特征:
    • question: 字符串
    • fact: 字符串
    • answer: 字符串
    • negatives: 字符串序列
    • HumanScore: 浮点数
    • Clarity: 浮点数
  • 分割:
    • train: 2740个样本, 589804.76字节
    • test: 322个样本, 70186.34字节
    • validation: 264个样本, 60288.62字节
  • 下载大小: 418188字节
  • 数据集大小: 720279.72字节

数据分割

名称	训练集	验证集	测试集
all	4957	500	500
filtered	2740	264	322

附加信息

许可信息

• 许可: 未知
• 原始数据集许可: 用户需参考原始OpenBookQA数据集的许可。

贡献

• 原始数据集由Allen Institute for AI提供。
• 数据集由bobox适配用于句子变换器，包括过滤和重构数据。

引用信息

@inproceedings{OpenBookQA2018, title={Can a Suit of Armor Conduct Electricity? A New Dataset for Open Book Question Answering}, author={Todor Mihaylov and Peter Clark and Tushar Khot and Ashish Sabharwal}, booktitle={EMNLP}, year={2018} }

搜集汇总

数据集介绍

构建方式

OpenbookQA-4ST数据集源于Allen AI发布的OpenBookQA，专为优化Sentence Transformers模型而重构。原始数据集包含需多步推理与常识知识的开放域问答样本，改编版在此基础上进行了两项关键改造：其一，重排数据结构，使其更适配句嵌入模型的输入格式；其二，基于人工评估与清晰度指标进行筛选，仅保留HumanScore大于0.9且Clarity高于1.4的高质量样本，形成filtered子集。最终数据集以all与filtered两种配置呈现，分别包含4957与2740条训练样本，每条记录包含问题、事实、正确答案及负样本列表。

特点

该数据集最显著的特点在于其双重质量保障机制。一方面，通过引入HumanScore与Clarity两个量化指标，从人类评估与表述清晰度两个维度对原始样本进行严格筛选，有效剔除了模糊或低质量的问答对。另一方面，针对Sentence Transformers的应用场景，数据集保留了负样本字段，支持对比学习与三元组损失训练范式。此外，数据集保留了原始OpenBookQA中科学事实与常识推理的复合特性，问题需结合给定事实与外部知识进行多步逻辑推演，兼具领域深度与认知挑战性。

使用方法

该数据集可直接通过HuggingFace Datasets库加载，支持all与filtered两种配置选择。使用时需注意数据字段结构：question与fact为字符串输入，answer作为正样本，negatives列表提供负样本，适用于构建句嵌入模型的训练三元组。推荐在Sentence Transformers框架下，利用其训练器加载数据，通过对比学习或三元组损失函数进行微调。评估时可采用测试集进行相似度检索或分类任务验证，filtered配置因样本质量更高，更适宜作为模型精调与性能基准测试的数据源。

背景与挑战

背景概述

OpenBookQA数据集由艾伦人工智能研究院（Allen Institute for AI）于2018年发布，旨在推动开放域问答领域的前沿研究。该数据集模拟了人类开卷考试的情境，要求模型不仅掌握给定的科学事实（以“开放书籍”形式提供），还需运用常识推理和多步逻辑分析来回答问题。其核心研究问题聚焦于评估机器对文本的深度理解能力，尤其是超越表面语义的推理过程。OpenBookQA的提出填补了传统问答数据集在复杂推理评估上的空白，成为衡量自然语言理解模型综合性能的重要基准之一，对后续的常识推理与知识增强型模型发展产生了深远影响。

当前挑战

OpenBookQA所解决的领域挑战在于，传统问答数据集多依赖浅层模式匹配或知识检索，而该数据集要求模型具备多步推理与常识整合能力，例如从物理、生物等学科事实中推导出隐含结论。构建过程中，挑战主要体现在数据质量控制上：原始问题需经过众包标注与专家审核，以确保答案的合理性与干扰项的迷惑性。此外，bobox团队在适配版本中进一步引入HumanScore与Clarity评分，筛选出高质量子集（如过滤后仅保留2740条训练样本），这不仅提升了数据纯净度，也增加了对模型鲁棒性的考验——如何在有限且高度精选的数据上泛化至开放域场景，成为新的研究难点。

常用场景

经典使用场景

OpenBookQA-4ST数据集在自然语言处理领域中被广泛用于评估和训练开放域问答系统，尤其是那些依赖句子嵌入模型的架构。该数据集对原始OpenBookQA进行了重构，将问题、科学事实、正确答案与干扰项组织成结构化的三元组形式，便于句子变换器模型直接进行相似度学习与对比训练。其经典使用场景包括基于语义匹配的答案选择、多步推理问答以及常识推理能力的验证，研究者常利用该数据集衡量模型在理解隐含知识、进行逻辑推断方面的表现，从而推动开放域问答技术向更深层次的语义理解迈进。

实际应用

在实际应用中，OpenBookQA-4ST可赋能教育科技领域的智能辅导系统，帮助构建能够理解科学教材并回答学生开放式问题的虚拟助教。例如，在生物或物理课程中，系统可基于数据集中的事实与问题对，训练模型从多个候选答案中筛选最符合科学原理的解释。此外，该数据集还可用于开发面向知识图谱的问答接口，将非结构化文本中的科学事实转化为可查询的结构化知识，从而支持自动化科普、智能客服以及科研文献辅助阅读等场景，显著提升人机交互中知识传递的准确性与深度。

衍生相关工作

围绕OpenBookQA-4ST衍生出多项经典工作，其中最具代表性的是基于句子变换器的对比学习框架，研究者利用该数据集训练出能够区分细微语义差异的嵌入模型，进而提升在多项问答基准上的表现。此外，有工作探索了将数据集中的负样本用于增强模型的错误类型分析能力，开发出可解释的推理路径生成方法。另一些研究则聚焦于数据筛选策略，借鉴其清晰度与人工评分机制，提出自适应样本选择算法，以优化训练效率。这些衍生工作共同推动了开放域问答从浅层匹配向深层语义理解与可解释推理的演进。