D-ExpTracker__bon__v1

这是一个关于SFT（Soft Training）的实验数据集，包含训练数据、超参数配置、日志、评估结果和元数据等信息。数据集被划分为训练集，并提供了相关的字节数和示例数。此外，还包含了加载数据集和模型的代码示例。

原始信息汇总

数据集概述：TAUR-dev/D-ExpTracker__bon__v1

数据集描述

• 实验描述：SFT with validation tracking: bon
• 开始时间：2025-08-05T08:08:58.851096
• 数据集地址：https://huggingface.co/datasets/TAUR-dev/D-ExpTracker__bon__v1

数据集配置

数据集包含以下配置：

1. 超参数配置 (hyperparameters__sft)

• 特征：
  • 模型名称或路径 (model_name_or_path)
  • 信任远程代码 (trust_remote_code)
  • 阶段 (stage)
  • 是否训练 (do_train)
  • 微调类型 (finetuning_type)
  • 深度速度配置 (deepspeed)
  • 数据集 (dataset)
  • 模板 (template)
  • 截断长度 (cutoff_len)
  • 最大样本数 (max_samples)
  • 覆盖缓存 (overwrite_cache)
  • 预处理工作线程数 (preprocessing_num_workers)
  • 输出目录 (output_dir)
  • 日志步数 (logging_steps)
  • 保存步数 (save_steps)
  • 绘制损失 (plot_loss)
  • 覆盖输出目录 (overwrite_output_dir)
  • 每设备训练批次大小 (per_device_train_batch_size)
  • 梯度累积步数 (gradient_accumulation_steps)
  • 学习率 (learning_rate)
  • 训练周期数 (num_train_epochs)
  • 学习率调度器类型 (lr_scheduler_type)
  • 预热比例 (warmup_ratio)
  • 权重衰减 (weight_decay)
  • Adam beta1 (adam_beta1)
  • Adam beta2 (adam_beta2)
  • 是否使用bf16 (bf16)
  • DDP超时 (ddp_timeout)
  • 梯度检查点 (gradient_checkpointing)
  • 仅保存模型 (save_only_model)
  • 启用掩码范围 (enable_masked_ranges)
  • 是否评估 (do_eval)
  • 评估策略 (eval_strategy)
  • 评估步数 (eval_steps)
  • 评估数据集 (eval_dataset)
  • 每设备评估批次大小 (per_device_eval_batch_size)
  • 计算自定义指标 (compute_custom_metrics)
  • 报告给 (report_to)
  • 运行名称 (run_name)
• 数据量：
  • 训练集：8个样本，4160字节
  • 下载大小：17451字节
  • 数据集大小：4160字节

2. 评估日志 (logs__evaluation_eval_sft)

• 特征：
  • 时间戳 (timestamp)
  • 结束时间戳 (end_timestamp)
  • 阶段名称 (stage_name)
  • 阶段编号 (stage_number)
  • 级别 (level)
  • 消息 (message)
  • 标准输出内容 (stdout_content)
  • 标准错误内容 (stderr_content)
  • 实验名称 (experiment_name)
  • 经过时间秒数 (elapsed_time_seconds)
  • 阶段完成 (stage_complete)
• 数据量：
  • 训练集：1个样本，2554字节
  • 下载大小：15757字节
  • 数据集大小：2554字节

3. 训练日志 (logs__llamafactory_sft)

• 特征：同评估日志
• 数据量：
  • 训练集：68个样本，5853666字节
  • 下载大小：1244029字节
  • 数据集大小：5853666字节

4. 元数据 (metadata)

• 特征：
  • 实验名称 (experiment_name)
  • 开始时间 (start_time)
  • 描述 (description)
  • 基础组织 (base_org)
  • 阶段编号 (stage_number)
  • 阶段类型 (stage_type)
  • 状态 (status)
• 数据量：
  • 训练集：180个样本，49068字节
  • 下载大小：8900字节
  • 数据集大小：49068字节

5. 训练数据 (training_data__sft)

• 特征：
  • 分割 (split)
  • 示例索引 (example_idx)
  • 阶段名称 (stage_name)
  • 时间戳 (timestamp)
  • 对话 (conversations)
    • 内容 (content)
    • 角色 (role)
• 数据量：
  • 训练集：30400个样本，35943200字节
  • 下载大小：9765410字节
  • 数据集大小：35943200字节

6. 训练数据元数据 (training_data__sft_metadata)

• 特征：
  • 阶段名称 (stage_name)
  • 阶段编号 (stage_number)
  • 时间戳 (timestamp)
  • 原始数据集ID (original_dataset_id)
  • 数据集类型 (dataset_type)
  • 用途 (usage)
  • 数据集信息 (dataset_info)
    • 特征 (features)
      • 训练 (train)
    • 示例数量 (num_examples)
      • 训练 (train)
    • 分割 (splits)
• 数据量：
  • 训练集：8个样本，2496字节
  • 下载大小：5663字节
  • 数据集大小：2496字节

模型

• sft模型：TAUR-dev/M-bon-sft

使用方法

python from datasets import load_dataset

加载实验元数据

metadata = load_dataset(TAUR-dev/D-ExpTracker__bon__v1, experiment_metadata)

加载完整训练数据集

sft_data = load_dataset(TAUR-dev/D-ExpTracker__bon__v1, training_data__sft) sft_metadata = load_dataset(TAUR-dev/D-ExpTracker__bon__v1, training_data__sft_metadata)

加载完整配置

sft_hyperparams = load_dataset(TAUR-dev/D-ExpTracker__bon__v1, hyperparameters__sft)

加载阶段特定日志

sft_logs = load_dataset(TAUR-dev/D-ExpTracker__bon__v1, logs__sft)

加载带注释的评估结果

sft_eval_results = load_dataset(TAUR-dev/D-ExpTracker__bon__v1, evals_eval_sft)

搜集汇总

数据集介绍

构建方式

在深度学习模型训练与实验管理领域，D-ExpTracker__bon__v1数据集采用模块化架构设计，通过六个独立配置模块系统记录监督微调实验全生命周期数据。构建过程中采用实时异步写入机制，训练参数、日志流、评估结果等多元数据在实验各阶段完成后立即持久化存储，确保数据完整性与时效性。数据集特别设计了结构化嵌套字段，如训练数据中的对话树形结构和超参数配置中的多层次参数组，通过严格的类型标注实现机器可读性与人工可解释性的平衡。

使用方法

使用该数据集时建议采用分层加载策略，通过HuggingFace Datasets库的配置名参数选择性载入不同实验模块。典型工作流包含三个维度：通过training_data__sft配置获取原始对话数据时，需配合sft_metadata中的标注信息理解数据分布；分析模型性能时应当交叉参照logs__llamafactory_sft中的训练动态与evals_eval_sft中的评估指标；进行实验复现则需组合hyperparameters__sft的完整参数模板与metadata中的环境上下文。数据集特别设计了Python上下文管理器风格的访问接口，支持以实验阶段为单位进行原子化数据查询。

背景与挑战

背景概述

D-ExpTracker__bon__v1数据集由TAUR-dev团队于2025年推出，旨在系统记录和监督监督式微调（SFT）实验的全过程。该数据集作为SkillFactory实验管理系统的重要组成部分，提供了从超参数配置、训练数据到评估日志的完整实验追踪能力。在大型语言模型微调领域，该数据集通过结构化存储实验元数据和训练轨迹，解决了实验复现性和过程透明性的关键问题，为模型迭代优化提供了可靠的数据支撑。其多配置设计覆盖了训练数据、超参数、日志和评估结果等核心维度，体现了当前人工智能实验管理向标准化、可追溯方向发展的趋势。

当前挑战

该数据集构建过程中面临的主要挑战包括：在技术层面，需要设计统一的数据结构以兼容不同阶段的异构实验数据，如超参数配置的键值对与训练日志的时间序列数据；在领域问题层面，需解决监督式微调过程中实验参数与模型性能关联分析的复杂性，这对数据采集的粒度和完整性提出极高要求。同时，实时上传机制带来的数据一致性保障、大规模训练日志的高效存储与检索，以及评估指标与训练过程的动态关联等问题，均为数据集构建的关键技术难点。

常用场景

经典使用场景

在自然语言处理领域，D-ExpTracker__bon__v1数据集为监督式微调（SFT）实验提供了全面的跟踪记录。该数据集通过整合超参数配置、训练日志和评估结果，为研究人员复现实验过程、分析模型性能提供了标准化框架。其多阶段实验设计特别适合研究不同训练策略对语言模型微调效果的影响，成为对比分析监督学习与强化学习方法的基准平台。

解决学术问题

该数据集有效解决了深度学习实验可复现性这一核心学术难题。通过结构化存储训练配置、数据版本和评估指标，消除了传统研究中因记录不完整导致的结论偏差。其详尽的元数据记录为研究超参数敏感性、训练动态变化提供了量化依据，尤其对理解大语言模型微调过程中的损失收敛、梯度行为等关键问题具有重要价值。

实际应用

在实际工程应用中，该数据集支撑了端到端的模型开发流水线。企业研发团队可基于其标准化的实验记录，快速迭代不同架构的语言模型。医疗、金融等垂直领域通过复用数据集中的训练配置，显著降低了领域适配的技术门槛。其内置的模型注册功能更实现了从实验到部署的无缝衔接。

数据集最近研究

最新研究方向

在自然语言处理领域，D-ExpTracker__bon__v1数据集为监督式微调（SFT）实验提供了全面的跟踪记录，其最新研究方向聚焦于实验过程的可复现性与模型性能优化。该数据集通过整合超参数配置、训练日志和评估结果，为研究者提供了端到端的实验分析框架。当前研究热点包括探索不同微调策略对模型泛化能力的影响，以及如何利用结构化日志数据优化训练效率。这一数据集的出现，填补了实验跟踪数据标准化管理的空白，为NLP领域的实验方法学研究提供了重要支撑。