Nemotron-SFT-Multilingual-v2

Nemotron-SFT-Multilingual-v2 是一个用于文本生成模型后训练的多语言监督微调数据集。该数据集通过翻译来自 Nemotron-Math-v2、Nemotron-Competitive-Programming-v1 和 Nemotron-Science-v1 的种子数据生成，旨在扩展对印地语（hi）、韩语（ko）、巴西葡萄牙语（pt-br）以及经过质量刷新的日语（ja）的多语言覆盖。数据集采用新的数据处理流程生成，避免了翻译过程中的换行问题，并使用 DeepSeek-V3-0324 作为翻译模型。种子样本被精简为简洁的 JSON 对象进行翻译，经翻译后通过启发式格式和数据验证过滤器进行检查，最后恢复被剥离的 JSON 字段。其中，STEM（科学、技术、工程、数学）子集还进一步使用 Qwen3-4B-Thinking-2507 大型语言模型进行后编辑，以修复格式不匹配问题。在数据格式上，提示和最终答案以目标语言提供，而推理轨迹则保留为英文，这是为了适配 Nemotron 3 系列模型的架构设计。数据集按领域和语言组织为多个子集，包括代码（code）、数学（math）和 STEM 领域，每个领域下对应四种目标语言。总计包含约 370,081 个对话样本，磁盘占用约 12GB，数据格式为 JSONL。该数据集主要用于后训练大型语言模型，为其补充来自数学、编程和科学种子数据翻译而来的多语言监督微调示例，尤其适用于提升模型在印地语、韩语、巴西葡萄牙语和日语上的表现。数据集基于 CC BY 4.0 和 CC BY-SA 4.0 许可证，可用于商业用途。

Nemotron-SFT-Multilingual-v2 is a multilingual supervised fine-tuning dataset for post-training text generation models. It is generated by translating seed data from Nemotron-Math-v2, Nemotron-Competitive-Programming-v1, and Nemotron-Science-v1, aiming to extend multilingual coverage for Hindi (hi), Korean (ko), Brazilian Portuguese (pt-br), and Japanese (ja) with quality refresh. The dataset is produced using a new data processing pipeline that avoids newline issues during translation, employing DeepSeek-V3-0324 as the translation model. Seed samples are streamlined into concise JSON objects for translation, which are then checked through heuristic format and data validation filters, and stripped JSON fields are restored. The STEM (Science, Technology, Engineering, Mathematics) subset is further post-edited using the Qwen3-4B-Thinking-2507 large language model to fix format mismatches. In terms of data format, prompts and final answers are provided in the target language, while reasoning traces are retained in English, designed to adapt to the architecture of the Nemotron 3 series models. The dataset is organized into multiple subsets by domain and language, including code, math, and STEM domains, each corresponding to four target languages. It contains approximately 370,081 conversation samples, occupies about 12GB of disk space, and is in JSONL format. This dataset is primarily used for post-training large language models, supplementing them with multilingual supervised fine-tuning examples translated from mathematical, programming, and scientific seed data, particularly for enhancing performance in Hindi, Korean, Brazilian Portuguese, and Japanese. The dataset is based on CC BY 4.0 and CC BY-SA 4.0 licenses and is suitable for commercial use.

原始信息汇总

数据集概述

数据集名称：Nemotron-SFT-Multilingual-v2

所有者：NVIDIA Corporation

创建日期：2026年3月11日

许可证：

• CC BY 4.0：适用于所有合成数据集、代码/SWE 数据集、GPQA 合成数据、CUDA、InfiniByte、ToolUseInteractiveAgent、structured outputs、Terminal Bench、ITS-HelpSteer、Code GenSelect。
• CC BY-SA 4.0：适用于源自 StackOverflow 的数据集（Math GPT-OSS StackOverflow、Lean SFT、Math GenSelect）。

语言覆盖：英语（en）、印地语（hi）、日语（ja）、韩语（ko）、葡萄牙语（pt）。

---

数据集描述

Nemotron-SFT-Multilingual-v2 是一个多语言监督微调（SFT）数据集，用于文本生成模型的后训练。该数据集通过翻译以下种子数据生成，并增加了对印地语（hi）、韩语（ko）、巴西葡萄牙语（pt-br）以及刷新后的日语（ja）的多语言覆盖：

• Nemotron-Math-v2
• Nemotron-Competitive-Programming-v1
• Nemotron-Science-v1

数据生成流程采用新的处理管道，避免翻译过程中的换行问题，并使用 DeepSeek-V3-0324 作为翻译模型。种子示例被精简为简洁的 JSON 对象进行翻译，翻译后通过启发式格式和数据验证过滤器检查，然后恢复被精简的 JSON 字段。STEM 子集进一步使用 Qwen3-4B-Thinking-2507 进行后编辑，以修复格式不匹配问题。

数据集中提供目标语言的提示和最终答案，而推理轨迹保留为英语。

---

预期用途

该数据集用于后训练大型语言模型，特别是提高印地语、韩语、巴西葡萄牙语和日语的多语言 SFT 数据覆盖。可补充现有的 SFT 混合数据，提供源自数学、编程和科学种子数据的翻译多语言示例。

如果与上一版本 Nemotron-SFT-Multilingual-v1 一起使用，建议用本版本的高质量日语数据替换旧版日语数据，然后合并两个数据集并根据需要平衡语言分布。

由于数据集翻译自现有种子数据，不旨在增加特定语言地区的本地或区域知识。

---

数据集特征

• 数据收集方法：混合方式。种子数据取自 Nemotron-Math-v2、Nemotron-Competitive-Programming-v1 和 Nemotron-Science-v1，额外的多语言数据通过 DeepSeek-V3-0324 合成翻译生成。
• 标注方法：合成方式。翻译由 DeepSeek-V3-0324 生成。STEM 子集进一步由 Qwen3-4B-Thinking-2507 进行后编辑以修复格式不匹配问题。过滤仅基于启发式格式检查和数据验证规则。

---

数据集格式

• 模态：文本
• 格式：JSONL
• 结构：文本 + 元数据

---

数据集量化

数据集包含大约 370,081 条对话样本（磁盘占用约 12GB）。各子集样本数量如下：

子集	样本数
code_hi	34,845
code_ja	34,358
code_ko	34,923
code_pt	34,822
math_hi	19,911
math_ja	34,926
math_ko	34,913
math_pt	33,199
stem_hi	26,638
stem_ja	6,165
stem_ko	11,810
stem_pt	63,571
总计	370,081

---

伦理考量

NVIDIA 认为可信 AI 是共同责任，已建立政策和实践以支持广泛的 AI 应用开发。开发者应与其内部开发团队协作，确保此数据集满足相关行业和用例的要求，并解决不可预见的产品滥用问题。质量、风险、安全漏洞或 NVIDIA AI 相关问题可报告至：NVIDIA 安全漏洞提交。

搜集汇总

数据集介绍

构建方式

Nemotron-SFT-Multilingual-v2是一个面向多语言监督微调的高质量文本生成数据集，由NVIDIA团队基于其先前的数学、编程与科学领域种子数据构建而成。具体而言，研究团队从Nemotron-Math-v2、Nemotron-Competitive-Programming-v1和Nemotron-Science-v1中提取种子样本，将其精简为简洁的JSON对象，随后利用DeepSeek-V3-0324作为翻译引擎，为印地语、韩语、巴西葡萄牙语及日语提供多语言覆盖。翻译完成后，通过启发式的格式校验与数据验证过滤器进行清洗，并对STEM子集额外采用Qwen3-4B-Thinking-2507进行后编辑，以修正格式不匹配问题。最终，数据集保留了英文推理轨迹，而提示与答案则以目标语言呈现，服务于Nemotron 3系列模型架构的特殊需求。

特点

该数据集的核心特色在于其系统化的多语言迁移策略与精细化的质量控制流程。所有翻译均经过去行中断的特殊管线处理，确保文本结构完整性。STEM子集的双重LLM编辑机制——先由DeepSeek-V3-0324翻译，再由Qwen3-4B-Thinking-2507后编辑——显著提升了格式一致性与内容保真度。数据集涵盖代码、数学和科学三大领域，提供约37万条多语言对话样本，总规模约12GB。值得注意的是，数据集包含的印地语、韩语、巴西葡萄牙语版本均为全新生成，而日语版本则经过了质量优化，可替代旧版中的对应数据，满足了多语言后训练中对语种覆盖均衡与样本质量兼顾的双重需求。

使用方法

该数据集以JSONL格式发布，每条记录包含文本与元数据，可直接用于大语言模型的多语言监督微调阶段。用户可将不同语言子集（如code_hi、math_ja）按需混合，构建定制化的微调混合物。特别建议，若与旧版Nemotron-SFT-Multilingual-v1协同使用，应优先以本版日语数据替换旧版日语样本，再合并两版数据并根据实际任务调整各语言分布。由于数据源自英语种子数据的翻译，该数据集不旨在注入特定语言区域的本地知识，而更适用于提升模型在数学推理、代码生成与科学问答任务上的多语言泛化能力。数据集采用CC BY 4.0与CC BY-SA 4.0双许可证，适用于商业场景。

背景与挑战

背景概述

随着大语言模型在全球范围内的广泛应用，多语言能力的提升成为自然语言处理领域的关键研究方向。2026年3月，由NVIDIA公司创建的Nemotron-SFT-Multilingual-v2数据集正式发布，旨在为文本生成模型的后训练阶段提供高质量的多语言监督微调数据。该数据集通过翻译英伟达先前发布的数学、编程与科学领域种子数据集（Nemotron-Math-v2、Nemotron-Competitive-Programming-v1和Nemotron-Science-v1），扩展了印地语、韩语、巴西葡萄牙语和日语的覆盖范围。数据集采用DeepSeek-V3-0324作为翻译模型，并引入新式处理流水线以避免翻译中断行问题，对STEM子集还使用Qwen3-4B-Thinking-2507进行后期编辑以修正格式不匹配。该数据集总计包含约37万条样本，为多语言大模型微调提供了重要的资源支持，推动了非英语语言在复杂推理任务中的数据可用性。

当前挑战

该数据集所解决的领域问题在于：主流大语言模型在数学、编程与科学等复杂推理任务中，非英语语言（如印地语、韩语、巴西葡萄牙语和日语）的高质量训练数据严重匮乏，导致模型在这些语言上的表现远逊于英语。构建过程中面临多重挑战：首先，翻译过程需避免换行破坏代码或数学公式的结构，保证语义完整；其次，由于种子数据包含JSON格式的样例，需设计流水线将其精简后进行翻译，再恢复字段并检验格式合法性；此外，STEM子集在翻译后常出现格式不匹配问题，需引入额外的LLM进行后期编辑与修正；最后，在数据量级上需平衡各语言和各领域的样本分布，以确保下游微调的均衡性与有效性。

常用场景

经典使用场景

Nemotron-SFT-Multilingual-v2 作为面向多语言场景的监督微调数据集，其核心价值在于为文本生成模型提供高质量、跨语种的数学、编程与科学领域训练样本。该数据集通过将英文种子数据精准翻译为印地语、韩语、巴西葡萄牙语及日语，弥补了主流微调数据集在非英语语言上的覆盖盲区。研究者通常将其整合至现有的 SFT 混合数据流水线中，以增强模型在低资源语言上的推理与生成能力，尤其适用于需要同时处理多种语言问答和指令遵循任务的场景。

解决学术问题

该数据集有效回应了多语言自然语言处理领域中长期存在的两个关键挑战：一是非英语语言高质量监督微调数据的匮乏，二是跨语言语义一致性难以保证。通过引入基于 DeepSeek-V3-0324 的翻译与后编辑流程，数据集在数学推理、代码生成与科学问答等复杂任务中，实现了源语言与目标语言之间逻辑结构的精准对齐。其出现显著推动了多语言大语言模型在推理能力上的公平性研究，并为评估模型在语言迁移场景下的泛化表现提供了标准化基准。

衍生相关工作

基于该数据集的构建方法论，一系列后续工作应运而生。例如，研究者借鉴其翻译-后编辑-校验的三阶段流水线，开发了面向阿拉伯语、法语等更多语言的扩展版本；亦有工作利用该数据集的 STEM 后编辑数据探索推理步骤在跨语言场景下的可迁移性。此外，Nemotron-SFT-Multilingual-v2 与同期发布的多语言奖励模型数据集相结合，催生了面向低资源语言的端到端对齐训练框架，进一步拓展了多语言大语言模型的研究边界。