THU-KEG/LongTraceRL

LongTraceRL是一个专为强化学习训练设计的长上下文多跳问答数据集。每个样本包含约128K标记的上下文，其中包含基于轨迹的分层干扰项、一个多跳问题、一个真实答案，以及用于过程级奖励监督的金标准准则实体。

LongTraceRL is a long-context multi-hop QA dataset designed for reinforcement learning training. Each sample contains a ~128K-token context with trajectory-based tiered distractors, a multi-hop question, a ground-truth answer, and gold rubric entities for process-level reward supervision.

搜集汇总

数据集介绍

构建方式

LongTraceRL数据集专为长上下文多跳问答与强化学习训练而设计，其构建依托于KILT Wikipedia快照中的知识图谱随机游走机制。每个样本均包含约128K词元的长上下文，并创新性地引入基于搜索智能体真实轨迹的分层干扰项设计：第一层为已读取但未被引用的信息，第二层则来自检索后未被开启的页面。这种模拟真实检索过程的分层结构，使得模型在复杂推理过程中面临极具挑战性的噪声环境。数据集共包含2815个训练样本，每个样本均配备多跳问题、标准答案及用于过程级奖励监督的金标实体的rubric标注。

使用方法

该数据集可通过HuggingFace Datasets库便捷加载，使用`load_dataset("THU-KEG/LongTraceRL")`即可获取。每一条数据以JSON格式存储，包含source、input_messages、label和metadata四个字段。其中input_messages为聊天格式消息，封装了长上下文与问题；label字段提供标准答案；metadata则存储rubric实体与问题文本等额外奖励信息。开发者亦可直接通过`huggingface-cli download THU-KEG/LongTraceRL --repo-type dataset --local-dir data/`命令将数据集下载至本地，方便集成至自定义的强化学习训练流程中。

背景与挑战

背景概述

LongTraceRL数据集由清华大学知识工程实验室（THU-KEG）的Lin等人于2026年提出，旨在应对大规模语言模型在超长上下文（128K tokens）场景下的多跳推理能力不足问题。该数据集基于KILT维基百科快照的知识图谱随机游走生成，融合了真实搜索代理轨迹的分层干扰项（Tier-1：已阅读但未引用；Tier-2：已检索但未打开），并引入基于实体链的标尺奖励机制，为强化学习训练提供细粒度过程监督。其核心研究问题在于如何通过轨迹级干扰和奖励设计，驱动模型掌握长上下文多跳推理能力，对长文本理解、QA系统和强化学习等领域产生重要影响。

当前挑战

LongTraceRL所解决的领域核心挑战是长上下文多跳推理中模型难以有效区分关键信息与干扰项的问题。具体而言，包含两个方面：一是领域问题层面，现有模型在超长文本（≥128K tokens）中容易迷失于无关细节，难以准确完成多跳推理和答案定位；二是数据集构建层面，生成真实搜索代理轨迹以模拟层级干扰项需要精心设计随机游走策略和知识图谱路径，确保干扰项既逼真又不泄露正确答案，同时维持样本规模（2,815条）与上下文长度的平衡，对数据质量与多样性构成严峻挑战。

常用场景

经典使用场景

LongTraceRL是一个专为强化学习训练设计的超长上下文多跳问答数据集。在自然语言处理与知识推理的交叉领域中，长程依赖与复杂推理始终是核心挑战。该数据集通过构建约128K token的样本上下文，巧妙融合了基于知识图谱随机游走生成的链式推理路径，以及模拟真实搜索引擎智能体行为的层级干扰项——其中Tier-1为已读取但未引用的干扰段落，Tier-2为被检索但从未打开的无关信息，从而逼真复现了开放域长文本推理的复杂生态。每一条样本均包含多跳问题、标准答案及黄金推理路径上的标注实体，为过程级奖励信号的精细化建模提供了理想训练物料。研究者可基于此数据集训练具备长上下文理解与分层推理能力的智能体，探索强化学习在复杂信息空间中的检索-推理联合优化范式。

解决学术问题

LongTraceRL直面当前大语言模型在超长文本理解与多步推理中的瓶颈问题。传统评估基准如HotpotQA或MuSiQue虽已触及多跳问题，但上下文长度通常仅数千词，且干扰项设计缺乏对真实搜索轨迹的模拟，导致模型在场景迁移时鲁棒性不足。该数据集通过引入层级干扰与基于搜索代理行为的轨迹数据，系统性地揭示了长上下文场景下模型注意力分散与推理链条断裂这两大学术难题。其核心创新在于将过程级监督信号（rubric reward）融入强化学习框架，使得模型不仅关注最终答案的准确性，更需沿标注实体序列逐步验证推理路径的合法性。这为探索可解释的推理机制、提升长序列感知能力，以及理论化理解干扰噪声与推理误差之间的统计关系提供了量化的实验平台，推动了从浅层模式匹配向深层次结构化因果推理的学术跨越。

实际应用

在现实业务场景中，LongTraceRL所模拟的长文档多步推理能力具有广泛的迁移价值。例如在工业级知识库问答系统中，用户查询往往需要跨越产品手册、技术规范与历史故障日志等多个独立文档进行逻辑串联，传统检索增强生成（RAG）方法在遭遇噪声段落时极易产生幻觉或片面的结论。该数据集训练出的模型可应用于智能客服场景，自动依据复杂查询从数万字的帮助文档中定位事实链条，并给出带有证据链的可靠答复。在法律文档审查中，面对跨越条款、判例与司法解释的复合问题，该模型可沿标注实体追踪逻辑脉络，提升合同合规性分析的准确率。此外，在教育领域的智能化论文审阅场景下，该系统能够基于期刊稿件中散布的方法描述与数据结论进行交叉比对，辅助审稿人高效甄别逻辑矛盾与薄弱环节。

数据集最近研究

最新研究方向

LongTraceRL数据集聚焦于利用强化学习与细粒度过程奖励机制，推动长上下文多跳推理能力的前沿探索。该数据集通过模拟真实搜索智能体轨迹构建层次化干扰项，结合知识图谱随机游走生成超长上下文（约128K tokens）与多跳问题，服务于复杂文档中信息抽取与逻辑推理挑战。其创新性地引入基于路径实体的rubric奖励，为模型提供过程级监督信号，突破了传统仅关注最终答案的局限。当前，该数据集正被应用于训练具备长效记忆与逐步推理能力的语言模型，以应对法律文件分析、科学文献综述等长文本场景，显著提升了模型在噪声干扰下的鲁棒性与推理透明度，为构建可解释、可验证的大语言模型推理系统奠定了关键资源基础。