josephmayo/curated-openbmb-code-math

精选的OpenBMB代码/数学后训练数据，源自精选的OpenBMB UltraData行，专注于英文代码和数学的后训练数据。Curated OpenBMB Code/Math Post-Training Data, English code/math-focused post-training data derived from curated OpenBMB UltraData rows.

搜集汇总

数据集介绍

构建方式

该数据集源自OpenBMB社区精心筛选的UltraData-SFT-2605语料库，聚焦于英文代码与数学领域的后训练阶段。构建过程中，研究人员剔除了中文及多语言样本、通用知识类数据、非技术性格式化任务以及格式异常的对话，同时排除了含有思考标签的“无思考”行，并确保每条样本的上下文长度不超过4096个token。经过严格筛选，最终得到25,891条直接指令微调样本与6,018条包含推理过程的样本，分别存储于独立的配置文件中，以便灵活调整推理数据在训练中的占比。

使用方法

使用时，用户可根据训练目标选择对应的配置文件加载数据。例如，通过HuggingFace Datasets库，可分别使用`sft_no_think`或`sft_think`配置读取对应JSONL文件，每个样本包含`prompt`与`response`字段，可直接用于文本生成或问答任务的模型微调。需要注意的是，该数据集适用于英文代码与数学场景的后训练阶段，使用前应阅读上游数据集`openbmb/UltraData-SFT-2605`的许可条款，确保合规使用。

背景与挑战

背景概述

在大型语言模型的后训练阶段，代码生成与数学推理能力的增强已成为提升模型智能水平的关键突破点。基于此，Curated OpenBMB Code/Math Post-Training Data 数据集于近年由 OpenBMB 团队精心构建，专注于筛选高质量、英文为主的代码与数学指令数据。该数据集源自规模庞大的 UltraData-SFT-2605 语料库，通过严格过滤多语言、非技术性及格式异常样本，最终收录 31,909 条高质量回合格对。其核心研究问题在于如何通过可控的推理痕迹（如 <think> 标记）与无推理直接作答的混合训练，优化模型在技术任务上的对齐与泛化能力。该数据集为后训练阶段的推理-指令平衡提供了公共基准，对代码智能与数学推理领域具有显著推动作用。

当前挑战

数据集面临的挑战主要体现在两个方面。其一，在领域问题层面，大型语言模型在代码生成与数学推理中常陷入逻辑不一致、计算误差或对复杂多步骤任务理解不足的困境，亟需能明确区分推理与直接应答的高质量训练数据来促进模型学会在适当场景调用思维链。其二，在构建过程中，原始语料包含大量中文、多语言、通用知识及格式混乱的样本，必须设计严谨的去重与清洗策略以解决提示-回答匹配错误、重复内容及超出 4,096 词元上下文限制等问题，同时需要谨慎分离含思考痕迹与不含思考痕迹的数据样本从而支持灵活的训练配比，这对数据质量管控与规模化处理效率提出了严苛要求。

常用场景

经典使用场景

在代码生成与数学推理的交叉领域，curated-openbmb-code-math数据集被广泛用于对大型语言模型进行微调，以增强其理解并生成复杂程序文本和数学推导的能力。该数据集精选自OpenBMB UltraData，保留了英文代码、数学及必要技术指令跟随内容，并剔除了多语言、通用知识等非技术性条目。通过其精心设计的双配置方案——sft_no_think专注于直接代码/数学指令跟随与对齐，sft_think则包含带有<think>...</think>推理轨迹的样例——研究人员能够灵活调整推理数据的比例，从而在模型训练中实现精准的推理能力控制。这一数据集尤为适合用于构建能够同步处理编程任务与数学问题的统一模型，成为多任务学习范式下的经典训练资源。

解决学术问题

该数据集系统性地解决了学术研究中多类型技术指令数据混杂、推理过程不透明以及数据规模失衡等关键挑战。传统的代码或数学数据集往往仅关注单一领域，而curated-openbmb-code-math通过融合代码生成与数学推理任务，为探究语言模型在符号逻辑与结构化表达间的迁移学习提供了标准化试验场。特别地，通过区分有无显式推理链条的样本，它使得研究者能够量化分析推理过程对最终生成质量的影响机制，进而揭示大型语言模型内部推理路径的涌现特性。这一设计推动了可解释人工智能的发展，为理解模型在技术任务中的认知过程奠定了数据基础，并促使后续工作从单纯追求性能转向更加关注推理透明性与逻辑一致性。

实际应用

在实际部署中，基于curated-openbmb-code-math数据集微调的模型在多个高价值领域展现出显著的应用潜力。在智能编程助手的构建中，模型能够依据自然语言描述生成符合语法规范的程序代码，并在遇到逻辑难题时自动嵌入逐步推理过程，大幅提升调试效率。在教育领域，该数据集使模型能够为数学问题提供包含完整思考链条的解答，不仅输出最终答案，还给出中间推导步骤，从而为学生提供可理解的学习辅助。此外，在自动化科学计算和技术文档撰写场景中，模型整合代码片段与数学公式的能力显著降低了人机交互的门槛，推动了从代码补全到智能问答等系列产品的智能化升级。

数据集最近研究

最新研究方向

当前，代码与数学领域的大语言模型后训练正聚焦于推理能力的精细调控与数据质量控制。Curated OpenBMB Code/Math数据集正是在此背景下应运而生，其从OpenBMB UltraData中精心筛选出约3.2万条英文纯技术语料，通过分离无思维链和显式思维链两种训练配置，为研究者在监督微调阶段灵活调节推理数据比例提供了基础。该数据集的发布呼应了业界对可复现、高信噪比训练数据的迫切需求，有助于推动模型在复杂编程与数学推理任务上的可靠性提升，并可能影响后续开源社区在专业领域后训练数据构建中的标准化实践。