ai2lumos/lumos_complex_qa_plan_onetime

`lumos_complex_qa_plan_onetime`数据集用于训练Lumos-Onetime（Lumos-O）公式中的复杂问答任务的规划模块。该数据集来源于StrategyQA和Musique两个数据集，分别包含1777和17632个条目。

The `lumos_complex_qa_plan_onetime` dataset is used to train the planning module for complex question answering tasks in the Lumos-Onetime (Lumos-O) formulation. It is derived from two datasets, StrategyQA and Musique, which contain 1777 and 17632 entries respectively.

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别:
  • 文本生成
  • 问答
• 语言:
  • 英语
• 标签:
  • 语言代理
  • 推理
  • 问答
  • 规划
• 数据规模:
  • 10K<n<100K

数据集详情

• 数据集名称: lumos_complex_qa_plan_onetime
• 用途: 用于训练Lumos-Onetime (Lumos-O)框架中的复杂问答任务的规划模块。
• 训练数据来源:
  • StrategyQA: 1777条
  • Musique: 17632条

相关模型

• 模型名称: lumos_complex_qa_plan_onetime
• Huggingface仓库: 🤗Huggingface Repo

搜集汇总

数据集介绍

构建方式

在复杂问答任务的智能化浪潮中，Lumos-Onetime框架下的规划模块训练数据应运而生。该数据集源自两个权威基准：StrategyQA与Musique，分别贡献1,777条和17,632条高质量子目标注释，共计约1.9万条样本。这些注释由GPT-4从真实推理步骤中自动抽取并精心标注，确保了规划目标的准确性与多样性。构建过程遵循统一的模块化设计，将复杂问题分解为可执行的规划步骤，为语言代理提供了结构化的学习素材。

特点

该数据集的核心亮点在于其聚焦于复杂问答场景的规划能力训练。数据覆盖策略推理与多跳问答两大领域，样本规模介于1万至10万之间，兼顾了广度与深度。每条数据均包含从问题到子目标的清晰映射，体现了Lumos-Onetime公式中“一次性规划”的精髓。借助GPT-4的标注质量，数据集不仅支持文本生成与问答任务，更通过标签如“语言代理”、“推理”和“规划”，凸显了其在推动开放源代码语言代理研究中的独特价值。

使用方法

使用此数据集时，研究人员可将其直接用于微调LLaMA-2等基础模型的规划模块，以提升代理在复杂问答任务中的表现。数据采用Hugging Face标准格式，通过`datasets`库即可便捷加载。典型流程包括：首先加载训练集，随后结合Lumos框架的规划-接地-执行流水线进行模型训练，最后在HotpotQA等基准上评估性能。该数据集兼容文本生成与问答任务类别，适用于监督式微调，且支持与其他Lumos数据组合，以构建更全面的代理系统。

背景与挑战

背景概述

在人工智能领域，语言智能体的研究近年来取得了显著进展，但开源模型在处理复杂交互任务时仍面临性能瓶颈。2023年，由艾伦人工智能研究所（AI2）的尹达、法埃泽·布拉赫曼等研究人员主导，联合加州大学洛杉矶分校等机构，提出了Lumos框架。该研究聚焦于如何通过统一格式与模块化设计，提升基于开源大语言模型（如LLAMA-2）的智能体在复杂问答、网页导航等多任务场景中的表现。Lumos的核心贡献在于构建了包含规划、接地与执行三大模块的架构，并利用约5.6万条由GPT-4标注的高质量子目标与行动注释进行训练。这一数据集（ai2lumos/lumos_complex_qa_plan_onetime）专门用于训练复杂问答任务中的规划模块，其来源涵盖StrategyQA与Musique等基准，为开源语言智能体的模块化训练提供了重要资源，推动了该领域向更高效、更可复现的方向发展。

当前挑战

Lumos数据集所面临的挑战首先体现在其试图解决的领域问题上：复杂问答任务要求智能体具备多步推理与动态规划能力，而现有开源模型往往在长程依赖与跨知识源整合上表现不足，难以媲美GPT-4等闭源系统。此外，数据集构建过程本身亦充满困难：一是训练标注依赖GPT-4生成，这引入了对高性能闭源模型的潜在偏差与成本问题；二是数据规模有限（约1.9万条样本），可能影响模型泛化至未见任务（如WebShop与InterCode_SQL）的能力；三是模块化设计虽提升了灵活性，却对规划、接地与执行模块之间的协同提出了更高要求，任何一环的误差都可能级联放大，最终制约智能体在真实交互环境中的鲁棒性。

常用场景

经典使用场景

在复杂问答（Complex QA）研究领域，Lumos数据集以模块化语言代理训练为核心，经典使用场景聚焦于多步推理与规划能力的培养。该数据集包含来自StrategyQA和Musique的高质量子目标与动作注释，用于训练Lumos-Onetime范式下的规划模块。研究者通过将复杂问题分解为可执行的子目标序列，使语言模型在无需实时交互的情况下一次性生成完整规划路径，从而在HotpotQA等基准任务中实现与GPT-4相当的性能。这种一次性规划策略显著提升了开放语言代理在知识密集型推理任务中的效率与准确性。

解决学术问题

该数据集直面开放语言代理在复杂交互任务中面临的规划与泛化难题。传统方法往往依赖端到端微调或链式思维提示，难以在跨任务场景中保持模块化与可迁移性。Lumos通过统一格式的模块化训练数据，将规划、接地与执行模块解耦，使基于LLaMA-2的轻量模型在未见任务（如WebShop、InterCode_SQL）上超越更大规模的开源代理与领域专用模型。这一范式为构建可复用的通用语言代理提供了理论支撑，推动了开源社区在少样本推理与任务迁移研究中的实质性进展。

衍生相关工作

Lumos数据集催生了多项重要学术工作。其一次性规划（Lumos-O）范式被后续研究扩展为迭代式规划（Lumos-I），以处理动态环境中的自适应决策。同时，该数据集的模块化训练框架启发了AgentLM与AutoAct等工作的设计，这些模型在Mind2Web与ScienceQA上进一步优化了接地与执行模块的协同效率。此外，基于Lumos的规划数据，研究者探索了将大语言模型作为通用规划器与小型专用模型结合的混合架构，为资源受限场景下的高效代理部署开辟了新路径。