rbiswasfc/quality

该数据集是从`tau/scrolls`数据集中通过特定脚本处理得到的，用于多选问答任务。数据集包含训练集和验证集，分别有2523和2086个样本。每个样本包含id、问题、上下文、选项列表和标签。问题来源于Project Gutenberg和Open American National Corpus等资源，问题设计旨在确保人类注释者必须阅读大部分文档才能正确回答问题。50%的问题被标记为困难问题，因为在速度验证设置中，大多数注释者选择了错误答案。

This dataset is derived from the `tau/scrolls` dataset through a specific script and is used for multiple-choice question answering tasks. The dataset contains training and validation sets with 2523 and 2086 samples, respectively. Each sample includes an id, a question, a context, a list of choices, and a label. The questions are sourced from resources such as Project Gutenberg and the Open American National Corpus, and are designed to ensure that human annotators must read most of the document to answer correctly. 50% of the questions are labeled as difficult because, in a speed validation setting, most annotators chose the wrong answer.

原始信息汇总

数据集概述

数据集信息

• 许可证: MIT
• 特征:
  • id: 字符串类型
  • question: 字符串类型
  • context: 字符串类型
  • choices: 字符串序列
  • label: 整数类型 (int64)
• 分割:
  • train: 2523个样本，63920351字节
  • validation: 2086个样本，52064930字节
• 下载大小: 5955070字节
• 数据集大小: 115985281字节

配置

• 配置名称: default
• 数据文件:
  • train: data/train-*
  • validation: data/validation-*

数据集来源

• 数据集来源于 tau/scrolls，通过特定脚本处理得到。
• 处理后的数据集包含以下字段用于评估:
  • question: 问题提示
  • context: 上下文
  • choices: 选项列表（共4个选项）
  • label: 正确选项的索引

数据集描述

• 数据集包含多个选择题，题目和干扰项由经验丰富的作者编写，确保问题具有可回答性和明确性。
• 数据集中的问题经过速度验证，50%的问题被标记为“困难”，即大多数验证者在有限时间内选择了错误的答案。

搜集汇总

数据集介绍

构建方式

该数据集源于SCROLLS基准中的QuALITY子集，由经验丰富的写作者基于古腾堡计划与美国开放国家语料库中的长篇故事与文章构建而成。构建过程中，写作者被激励设计需要通读全文方可准确作答的多选题，并通过速度验证流程筛选出高难度题目。数据处理阶段借鉴了lm-evaluation-harness框架，首先对原始数据集进行去重操作，移除重复输入并整合对应答案；随后将输入字段中的问题与上下文分离，利用正则表达式解析出四个选项，并依据标准答案定位正确选项的索引。最终经列重命名与冗余字段剔除，形成包含question、context、choices与label字段的结构化数据集，训练集与验证集分别包含2523与2086个样本。

特点

该数据集聚焦于长文本理解与推理能力评估，其核心特点在于题目设计的高难度与严谨性。50%的问题在速度验证中被标注为困难，即多数受试者在快速浏览下选择错误答案，这迫使模型必须深入理解全文而非依赖局部线索。数据格式采用四选一的多项选择结构，每个样本均包含清晰的问题、丰富的上下文语境以及经过归一化处理的选项列表。此外，数据集保留了原始SCROLLS的文档标识符，便于追溯来源，且验证集规模与训练集相当，为模型性能的可靠评估提供了充足样本。

使用方法

该数据集可直接通过HuggingFace Datasets库加载，指定配置名称为default后，自动获取训练与验证两个分片。使用时需将question字段作为模型输入的问题提示，context字段作为待理解的文档，choices字段提供四个候选答案，label字段则指示正确选项的索引。评估过程中，可计算模型预测选项与真实标签的匹配准确率。由于数据已预处理好，无需额外清洗，但需注意测试集已被移除，因此仅适用于模型训练与验证阶段的性能度量。

背景与挑战

背景概述

在自然语言处理领域，长文本理解一直是核心挑战之一，尤其是当任务要求模型从冗长的叙事或文章中提取关键信息以回答复杂问题时。QuALITY数据集由Pang等人于2021年创建，旨在评估模型对长篇故事和文章的多选题问答能力。该数据集源自Project Gutenberg、Open American National Corpus等资源，由经验丰富的写作者设计问题和干扰项，并激励他们生成需要通读大量文档才能正确回答的高质量问题。为衡量问题难度，研究者引入了速度验证过程，让另一组标注者在短时间内快速浏览文档后作答，结果约50%的问题被标记为“困难”，即多数标注者在速读下选择了错误答案。QuALITY被纳入SCROLLS基准（2022年），成为评估长序列理解模型性能的重要标尺，推动了该领域研究的发展。

当前挑战

QuALITY数据集所解决的领域问题在于，传统问答数据集多聚焦于短文本，难以反映模型在长篇文档中的推理能力。其核心挑战包括：1）长文本中的信息分散与冗余，要求模型具备跨段落整合证据的能力，而非仅依赖局部线索；2）困难问题的设计刻意增加了歧义性，使得模型需要深度理解全局语义而非浅层模式匹配；3）构建过程中，为生成高质量干扰项，需确保每个选项在局部上看似合理，这增加了人工标注的复杂度；4）速度验证环节揭示了人类在时间限制下的认知局限，而模型需在无时间压力下超越这一基准，进一步提升了评估的难度。这些挑战共同构成了对当前长文本理解模型鲁棒性的严峻考验。

常用场景

经典使用场景

QuALITY数据集专为长文本理解与推理设计，其核心应用场景是基于长篇幅叙事性文本（如小说、文章）进行多项选择问答。每个样本包含一个问题、一段上下文和四个候选答案，模型需在充分理解全文逻辑脉络后选出正确答案。该数据集特别强调“困难”问题——约半数问题要求读者仔细阅读大量文本才能作答，这使其成为评估模型长距离依赖建模与深层语义推理能力的标杆。研究者常将其与SCROLLS基准套件结合，用于检验预训练语言模型在复杂叙事理解任务上的表现。

实际应用

在实际应用中，QuALITY所代表的细粒度长文本理解能力对多个领域具有直接驱动作用。例如，在智能教育系统中，它可被用于自动评估学生对长篇文学作品的阅读理解水平，生成有针对性的辅导问题；在数字人文领域，它支持对古籍或档案的语义检索与知识抽取；在法律与金融场景中，类似的多选问答范式可辅助分析冗长合同或年报中的关键条款。此外，该数据集衍生出的标注方法论——如通过“速度验证”区分问题难度——已被应用于构建更贴近人类阅读习惯的对话系统与内容审核工具。

衍生相关工作

QuALITY的发布催生了一系列围绕长文本理解与评估的经典工作。直接相关的是SCROLLS基准套件，它将QuALITY与其他七个长文档任务统一为标准化评估框架，显著降低了不同数据集间的比较偏差。后续研究如Longformer、BigBird等稀疏注意力模型常以QuALITY作为核心测试集，验证其处理超长序列的效率。此外，LM-Evaluation-Harness项目将QuALITY适配为标准化评测任务，推动了开源社区对模型长文本能力的系统性评价。在方法层面，基于该数据集衍生的“困难问题检测”与“对抗性样本生成”技术，进一步揭示了当前模型在深度推理上的脆弱性。