nexus-sft-mix

NEXUS SFT Mix是一个专为优化NEXUS模型（234M参数）而构建的大规模监督微调数据集，覆盖编程、交易和对话三大核心领域。它由约400万个经过严格筛选的公开源样本构成，总规模在百万至千万级别。数据采用NEXUS v1格式，与主流训练框架兼容，并包含课程学习元数据。数据内容按来源和领域精细划分：编程指令数据占50%，来源于多个高质量代码指令集；代码推理数据占15%，包含竞争性编程和算法问题；金融与交易数据占10%，涵盖金融问答和指令数据；多轮对话数据占20%，来自多个大型对话数据集；通用指令数据占5%。数据构建采用自动化流程，包括利用NEXUS预训练模型进行困惑度评分、基于嵌入的语义去重、基准测试集去污染检查以及领域分类验证。数据集整体采用CC-BY-4.0许可，同时尊重原始样本的许可。数据以流式处理方式生成，适用于指令微调、课程学习以及编程、金融科技和对话代理等多领域模型训练。

原始信息汇总

数据集概述：NEXUS SFT Mix

基本信息

• 许可证: CC-BY-4.0
• 语言: 英语 (en)、法语 (fr)
• 数据规模: 1百万到1千万样本 (1M < n < 10M)
• 标签: nexus, sft, code, finance, chat, instruction-tuning, curriculum-learning
• 名称: NEXUS SFT Mix

数据集配置

• 配置名称: default
• 数据文件: 训练集分片，路径为 shards/train-*.parquet

数据集描述

该数据集是针对NEXUS模型（2.34亿参数，专注于编程、交易和对话）优化后的监督微调（SFT）数据集。每个样本采用NEXUS v1格式，兼容TRL、Axolotl、Unsloth等框架，并包含课程学习（curriculum）元数据。

数据来源

数据集混合了约400万样本，来自以下经过筛选的公开来源：

• 代码 (50%): nvidia/OpenCodeInstruct, Magicoder-OSS/Evol, Ling-Coder-SFT, rStar-Coder, Code-290k-ShareGPT
• 代码推理 (15%): Nemotron-Competitive-Programming-v2, open-r1/codeforces
• 金融/交易 (10%): gbharti/finance-alpaca, FinGPT, AlphaFin, virattt/financial-qa
• 对话 (20%): WildChat-4.8M, lmsys-chat-1m, ShareGPT_Vicuna
• 通用指令 (5%): mlabonne/open-perfectblend

数据筛选流程

NEXUS模型（预训练至第423500步）作为自动筛选器，执行以下步骤：

1. 困惑度评分: 保留有助于模型学习的样本。
2. 原生嵌入: 进行跨来源的语义去重。
3. 去污染: 与HumanEval、MBPP、MATH、GSM8K等基准进行交叉检查。
4. 领域分类: 通过内部logits确认标签。

许可证与状态

• 混合数据集整体采用CC-BY-4.0许可证，每个样本保留其原始来源许可证。
• 数据集生成正在进行中，通过Hugging Face的流式管道进行。

搜集汇总

数据集介绍

构建方式

Nexus-sft-mix数据集源于对多个公开高质量指令微调数据源的融合与精炼，涵盖代码、金融、对话与通用指令等四大领域，样本总量近四百万。其构建流程强调以NEXUS预训练模型（第423500步）作为自动化策展核心，通过困惑度评分筛选对模型学习有益的样本，利用原生嵌入向量实现跨来源的语义去重，再经HumanEval、MBPP、MATH、GSM8K等基准进行脱污染检测，最终依据模型内部逻辑输出对样本所属领域进行标签确认，从而形成一套闭环的自适应数据筛选与重组管道。

特点

该数据集最具特色之处在于以模型自身为裁判进行数据质量控制，而非单纯依赖静态规则或人工标注。NEXUS模型同时扮演候选样本、评分器与分类器的三重角色，使得数据筛选标准与目标模型的训练需求高度契合。此外，数据构成上代码类样本占比一半，金融交易与对话指令紧随其后，呈现出显著的垂直领域聚焦倾向，尤其适用于编程、量化交易及多轮对话场景下的指令微调。数据集采用Parquet格式存储，支持流式加载，便于扩展与接入常见训练框架。

使用方法

使用Nexus-sft-mix时，可直接通过HuggingFace Datasets库加载默认配置，数据以分片形式存储于parquet文件中，支持流式读取以降低内存占用。该数据集兼容TRL、Axolotl及Unsloth等主流指令微调框架，其中内嵌的课程学习元数据可用于动态训练策略。用户需注意各样本保留各自原始数据源的许可证信息，整体数据集采用CC-BY-4.0许可，适用于学术研究与商业场景中的大语言模型指令微调与持续训练任务。

背景与挑战

背景概述

在自然语言处理与指令微调领域，数据集的质量与多样性直接决定了基础模型在下游任务中的泛化能力与专业性。NEXUS SFT Mix数据集由NEXUS模型团队于近期创建，其核心研究问题在于构建一个面向多领域指令微调的高质量混合数据集，以支持参数规模为234M的NEXUS模型在编程、金融交易与人机对话等场景下的性能优化。该数据集融合了来自公开来源的约400万条样本，包括OpenCodeInstruct、FinGPT、WildChat等知名资源，旨在通过课程学习与元数据增强，提升模型在代码推理、金融问答与通用指令遵循方面的表现。凭借其系统化的数据配比与自监督清洗管线，NEXUS SFT Mix为小参数模型的指令微调研究提供了可复现的基准与丰富的领域覆盖，对资源受限场景下的模型优化具有重要参考价值。

当前挑战

该数据集所应对的领域挑战首先源于指令微调数据中常见的噪声与冗余问题：未经严格筛选的混合数据会引入低质量样本，导致模型在复杂任务（如代码竞赛与金融分析）中产生偏差或过拟合。为此，NEXUS SFT Mix构建了一套自洽的清洗流程，包括基于困惑度的样本过滤、跨来源的语义去重以及对HumanEval等标准基准的污染检测，以保障数据的纯净度与信息密度。构建过程中的挑战则体现在如何平衡多个领域的数据配比与标签一致性，尤其在金融与编程这类高度专业化、样本稀疏的领域中，需要依赖模型的内部logits进行领域自动分类，同时避免因语义冲突而引入的格式不兼容问题，最终形成一个具备课程学习潜力的、结构统一的指令微调混合体。

常用场景

经典使用场景

NEXUS SFT Mix是一个精心构建的监督微调数据集，专为训练兼具编程、金融交易与通用对话能力的多领域语言模型而设计。在语言模型微调领域，该数据集通过融合代码逻辑推理、金融文本分析与自由对话的多样化样本，为构建适应性强的指令跟随模型提供了高质量的训练基础，尤其适合需要跨领域迁移能力的NEXUS系列模型训练。

衍生相关工作

围绕NEXUS SFT Mix，衍生出课程学习与数据自适应筛选的经典工作。研究者利用其内置的Perplexity评分与跨源语义去重机制，提出了渐进式难度递增的微调策略。此外，基于该数据集的领域分类标签，后续工作探索了动态域权重分配方法，显著提升了模型在金融合规审查和代码安全检测任务中的鲁棒性，为多模态数据治理提供了新范式。

数据集最近研究

最新研究方向

当前，NEXUS SFT Mix数据集聚焦于通过混合课程学习策略，优化小参数规模语言模型（如234M参数的NEXUS）在编程、金融交易与通用对话三大前沿领域的指令微调效果。其创新之处在于引入自监督的自动策展流水线，利用预训练模型本身作为裁判，通过困惑度评分、语义去重、跨基准去污染及内部逻辑域分类，从超百万规模的开源混合样本中筛选高质量训练数据。这一研究方向呼应了高效模型微调与数据质量自动筛选的热点，为解决大模型资源消耗与领域知识融合提供了轻量化思路，尤其对金融垂直领域的实时交易理解与代码生成任务的实用化落地具有显著推动作用。