mit-han-lab/SMEPO

该数据集为论文《Hide to Guide: Learning via Semantic Masking》提供支持，包含原始专家跟踪数据，用于数学、代码和代理搜索等任务。它基于语义掩码专家策略优化（SMEPO）方法，这是一种专家指导的强化学习方法，通过掩码奖励相关语义跨度来改进语言模型，同时保持程序结构。数据集采用一致的模式，包括问题、奖励模型和教师数据集字段。

This dataset supports the paper *Hide to Guide: Learning via Semantic Masking*, and contains raw expert trajectory data for tasks including mathematics, code, and agent search. It is based on the Semantic Masking Expert Policy Optimization (SMEPO) method, an expert-guided reinforcement learning approach that enhances language models by masking reward-relevant semantic spans while preserving program structure. The dataset follows a consistent schema comprising the fields: question, reward model, and teacher dataset.

搜集汇总

数据集介绍

构建方式

SMEPO数据集源自《Hide to Guide: Learning via Semantic Masking》论文研究，旨在支撑专家引导的带可验证奖励强化学习（RLVR）方法。该数据集通过收集数学、代码及智能体搜索等领域的原始专家轨迹构建而成，每条轨迹均遵循统一的架构：包含问题输入（question）、验证器或奖励模型信号（reward_model）以及任务特定的专家导向性数据（teacher_ds）。数据的框架设计确保了跨领域任务的一致性与可迁移性，为后续基于语义掩码的模型优化提供了坚实的数据基座。

使用方法

使用SMEPO数据集时，首先通过官方仓库的脚本从Hugging Face下载原始专家轨迹文件（如math.parquet），并利用download_from_hf.py将其保存为本地Parquet格式。随后运行build_data.sh脚本，即可从原始轨迹中自动构建出带有语义掩码的训练数据集。整个流程支持命令行快速操作，无需复杂配置，使研究者能便捷地复现论文中的实验设置，并灵活应用于多领域强化学习任务中。

背景与挑战

背景概述

SMEPO数据集诞生于大型语言模型与强化学习交汇的前沿领域，由MIT-HAN实验室于2025年提出，发表于论文《Hide to Guide: Learning via Semantic Masking》。该数据集旨在解决专家引导的可验证奖励强化学习（RLVR）中，如何有效利用专家轨迹提升模型推理能力这一核心问题。通过掩码奖励相关语义片段，同时保留过程结构，SMEPO为语言模型在数学、代码和智能体搜索等复杂任务上提供了高质量的专家线索，推动了知识蒸馏与强化学习融合范式的进步。其在HuggingFace等平台的开源发布，为后续研究树立了基准，显著影响了语言模型对齐与推理优化的研究方向。

当前挑战

SMEPO数据集所面对的挑战聚焦于如何准确识别并掩码专家轨迹中真正影响奖励的关键语义信息，同时避免破坏任务执行的逻辑结构和学习效率。在数学推理、代码生成与智能体搜索等复杂场景中，专家轨迹含有庞杂的中间步骤，区分奖励相关与无关要素是一项艰巨任务，过度掩码会导致信息丢失，不足则引入噪声。构建过程中，不同领域任务（如数学、代码）的结构差异要求数据标注策略具备跨域适应性，而如何设计统一的掩码规则以平衡专家引导的精确性与模型泛化能力，成为核心难点。此外，获取大规模、纯净的专家轨迹本身在数据收集与质量控制上也构成显著瓶颈。

常用场景

经典使用场景

SMEPO数据集主要用于强化学习与语言模型微调的交汇领域，其核心应用场景是在可验证奖励信号（RLVR）框架下，基于语义掩码专家策略优化方法提升模型推理能力。该数据集覆盖数学推理、代码生成与智能体搜索三大任务，为研究如何在专家轨迹中保留过程结构的同时屏蔽奖励相关语义片段提供了基准资源。研究者可借助该数据集复现SMEPO方法，探索语义掩码对语言模型对齐效率与泛化性能的影响。

解决学术问题

该数据集解决了强化学习语言模型对齐中专家轨迹利用效率低下的关键问题。传统方法或完全依赖专家示范进行行为克隆，或忽视专家隐含的知识结构，导致模型在复杂推理任务中难以兼顾探索效率与稳定性。SMEPO通过语义掩码机制分离奖励相关特征与过程结构，使模型既能从专家流程中学习策略骨架，又能避免对特定表面模式的过拟合，显著提升了数学定理证明、代码调试等任务中的收敛速度与最终性能。该工作为可验证奖励场景下的专家知识蒸馏提供了新范式。

实际应用

在实际应用层面，SMEPO数据集直接赋能需要精确推理能力且具备自动验证机制的系统。例如在数学竞赛辅导平台中，可自动生成分步解题过程并验证逻辑正确性；在智能代码助手场景下，能根据错误反馈生成更符合语法规范的修复建议；在自动化科研文献检索工具中，可优化多步搜索策略的决策质量。由于数据集支持端到端的掩码数据构建流程，工业界可便捷地将其适配至自有的任务验证器，从而减少人工标注成本。

数据集最近研究

最新研究方向

SMEPO数据集的发布标志着语义掩码技术在强化学习与可验证奖励（RLVR）框架中的前沿突破，尤其聚焦于数学推理、代码生成与智能体搜索等复杂任务的语言模型优化。该工作通过掩蔽专家轨迹中与奖励相关的语义跨度，同时保留其程序性结构，实现了更高效的专家引导式策略学习。在大型语言模型对齐研究持续升温的当下，SMEPO提供了一种无需人工标注即可利用专家知识提升模型推理与决策能力的新范式，其开源的原始专家轨迹与掩码构建脚本为后续研究提供了可复现的基础设施，对推动开放域任务中语言模型的可控生成与鲁棒性增强具有重要参考意义。