pensieves/alpha

--- license: cc-by-sa-4.0 dataset_info: features: - name: instruction dtype: string - name: combined_paragraphs dtype: string - name: question dtype: string - name: reasoning dtype: string - name: answer dtype: string - name: id dtype: string - name: paragraphs list: - name: idx dtype: int64 - name: is_supporting dtype: bool - name: paragraph_text dtype: string - name: title dtype: string - name: question_decomposition list: - name: id dtype: int64 - name: paragraph_support_idx dtype: int64 - name: question dtype: string - name: raw_question dtype: string - name: answer dtype: string - name: statement dtype: string - name: answer_aliases sequence: string - name: answerable dtype: bool configs: # - config_name: "musique_ans" # version: 1.1.0 # data_files: # - split: train # path: "musique_ans/train.json" # - split: validation # path: "musique_ans/val.json" # - split: test # path: "musique_ans/test.json" # - config_name: "musique_full" # version: 1.1.0 # data_files: # - split: train # path: "musique_full/train.json" # - split: validation # path: "musique_full/val.json" # - split: test # path: "musique_full/test.json" - config_name: "small-musique_ans" version: 1.1.0 data_files: - split: train path: "small-musique_ans/train.json" - split: validation path: "small-musique_ans/validation.json" - split: test path: "small-musique_ans/test.json" ---许可证：CC BY-SA 4.0（知识共享署名-相同方式共享4.0） 数据集信息： 特征： - 字段名：instruction，数据类型：字符串 - 字段名：combined_paragraphs，数据类型：字符串 - 字段名：question，数据类型：字符串 - 字段名：reasoning，数据类型：字符串 - 字段名：answer，数据类型：字符串 - 字段名：id，数据类型：字符串 - 字段名：paragraphs，列表类型，包含子字段： - 字段名：idx，数据类型：64位整数 - 字段名：is_supporting，数据类型：布尔值 - 字段名：paragraph_text，数据类型：字符串 - 字段名：title，数据类型：字符串 - 字段名：question_decomposition，列表类型，包含子字段： - 字段名：id，数据类型：64位整数 - 字段名：paragraph_support_idx，数据类型：64位整数 - 字段名：question，数据类型：字符串 - 字段名：raw_question，数据类型：字符串 - 字段名：answer，数据类型：字符串 - 字段名：statement，数据类型：字符串 - 字段名：answer_aliases，字符串序列 - 字段名：answerable，数据类型：布尔值 配置项： # - 配置名称："musique_ans" # 版本：1.1.0 # 数据文件： # - 划分集：训练集，文件路径："musique_ans/train.json" # - 划分集：验证集，文件路径："musique_ans/val.json" # - 划分集：测试集，文件路径："musique_ans/test.json" # - 配置名称："musique_full" # 版本：1.1.0 # 数据文件： # - 划分集：训练集，文件路径："musique_full/train.json" # - 划分集：验证集，文件路径："musique_full/val.json" # - 划分集：测试集，文件路径："musique_full/test.json" - 配置名称："small-musique_ans" 版本：1.1.0 数据文件： - 划分集：训练集，文件路径："small-musique_ans/train.json" - 划分集：验证集，文件路径："small-musique_ans/validation.json" - 划分集：测试集，文件路径："small-musique_ans/test.json"

原始信息汇总

数据集概述

数据集信息

特征

• context: 字符串类型
• question: 字符串类型
• targets: 字符串序列
• target_choices: 字符串序列
• target_scores: 整数序列
• reasoning: 字符串类型
• source_data: 字符串类型
• context_id: 整数类型
• question_id: 整数类型
• num_context_entities: 整数类型
• num_question_entities: 整数类型
• question_type: 字符串类型
• reasoning_types: 字符串序列
• spatial_types: 字符串序列
• commonsense_question: 字符串类型
• canary: 字符串类型
• comments: 字符串序列

配置

• config_name: SpaRTUN
  • version: 1.1.0
  • data_files:
    • split: train
      • path: "SpaRTUN/train.json"
    • split: validation
      • path: "SpaRTUN/val.json"
    • split: test
      • path: "SpaRTUN/test.json"
• config_name: SpartQA_Human
  • version: 1.1.0
  • data_files:
    • split: train
      • path: "SpartQA_Human/train.json"
    • split: validation
      • path: "SpartQA_Human/val.json"
    • split: test
      • path: "SpartQA_Human/test.json"
• config_name: ReSQ
  • version: 1.1.0
  • data_files:
    • split: train
      • path: "ReSQ/train.json"
    • split: validation
      • path: "ReSQ/val.json"
    • split: test
      • path: "ReSQ/test.json"
• config_name: StepGame_extended_objects_quantitatively_unspecified
  • version: 1.1.0
  • data_files:
    • split: train
      • path: "StepGame/extended_objects_quantitatively_unspecified/train.json"
    • split: validation
      • path: "StepGame/extended_objects_quantitatively_unspecified/val.json"
    • split: test
      • path: "StepGame/extended_objects_quantitatively_unspecified/test.json"
• config_name: StepGame_point_objects_quantitatively_specified
  • version: 1.1.0
  • data_files:
    • split: train
      • path: "StepGame/point_objects_quantitatively_specified/train.json"
    • split: validation
      • path: "StepGame/point_objects_quantitatively_specified/val.json"
    • split: test
      • path: "StepGame/point_objects_quantitatively_specified/test.json"
• config_name: StepGame_point_objects_quantitatively_unspecified
  • version: 1.1.0
  • data_files:
    • split: train
      • path: "StepGame/point_objects_quantitatively_unspecified/train.json"
    • split: validation
      • path: "StepGame/point_objects_quantitatively_unspecified/val.json"
    • split: test
      • path: "StepGame/point_objects_quantitatively_unspecified/test.json"

搜集汇总

数据集介绍

构建方式

在机器阅读理解领域，构建高质量数据集对于模型推理能力的提升至关重要。pensieves/alpha数据集基于MuSiQue框架，通过多跳问答任务设计，从维基百科中选取相关段落，并人工构造复杂问题。每个问题均需跨多个段落进行推理，同时标注支持性段落、问题分解步骤及答案别名，确保数据在多跳推理任务中的严谨性与丰富性。

特点

该数据集在自然语言处理领域展现出独特优势，其核心特征在于结构化的问题分解与多段落支持标注。每个样本不仅包含原始问题与答案，还细致提供了问题分解序列，明确每一步推理所对应的子问题及支持段落。这种设计使得数据集能够精准支持多跳推理研究，同时答案别名和可回答性标注进一步增强了数据的实用性与评估的鲁棒性。

使用方法

为有效利用该数据集进行模型训练与评估，研究者可依据不同配置加载相应数据分割。数据集提供了明确的训练、验证与测试划分，用户可通过指定配置名称（如'small-musique_ans'）直接访问结构化特征。典型应用流程包括加载数据、解析问题分解链，并基于支持段落训练模型执行多步推理，最终在测试集上验证模型处理复杂问答任务的能力。

背景与挑战

背景概述

在自然语言处理领域，多跳问答任务旨在评估模型从多个文档片段中综合信息并进行复杂推理的能力。pensieves/alpha数据集作为这一领域的重要资源，其构建工作由相关研究团队于近期完成，核心研究问题聚焦于提升模型对分散信息的整合与深层逻辑推理性能。该数据集通过结构化的问题分解与段落支持标注，为推进可解释人工智能与知识推理模型的发展提供了关键数据支撑，对机器阅读理解与开放域问答系统的演进产生了显著影响。

当前挑战

该数据集致力于应对多跳问答中模型面临的核心挑战，即如何准确关联分散的文本证据并进行多步推理，以生成可靠答案。在构建过程中，挑战主要体现在高质量标注的获取上，例如确保问题分解的逻辑连贯性、精确识别支持性段落，以及维护答案别名的一致性，这些都需要耗费大量人工校验与领域专业知识，以保障数据集的严谨性与实用性。

常用场景

经典使用场景

在自然语言处理领域，多跳问答任务要求模型通过整合多个文档片段中的信息来推理出答案。pensieves/alpha数据集以其结构化的多段落支持标注和问题分解特性，成为评估模型复杂推理能力的经典基准。研究者通常利用该数据集训练和测试模型在长文档理解、证据链构建以及多步逻辑推断方面的性能，尤其在处理需要跨段落信息融合的复杂查询时展现出独特价值。

实际应用

在实际应用层面，pensieves/alpha数据集支撑了智能客服、法律文书分析、医疗诊断辅助等需要深度文档理解的系统开发。其精细的标注体系能够训练出具备强推理能力的问答引擎，帮助从业者从海量非结构化文本中快速提取关联信息并生成可靠结论，显著提升了专业领域知识检索的准确性与效率。

衍生相关工作

围绕该数据集衍生的经典工作主要集中在多跳推理架构的优化上，例如基于图神经网络的证据路径搜索模型和迭代式问题分解框架。这些研究通过利用数据集提供的结构化中间步骤监督信号，开发出能够显式建模推理过程的新型算法，不仅提升了多跳问答任务的性能，也为可解释人工智能提供了重要的方法论参考。