baidu/GPTDynamics

GPTDynamics是一个用于训练和评估GPT模拟器的数据集，特别是在微调和命令微调场景中，以及每个训练步骤的测试样本的测试指标（如损失、BLEU或ROUGE分数）。数据集结构包括测试示例的ID和训练状态的轨迹，每个轨迹项包括当前训练步骤、相应的训练样本和测试样本的测试指标。

原始信息汇总

数据集卡片 for GPTDynamics

数据集概述

GPTDynamics 是一个用于训练和评估 GPT 模拟器的数据集，适用于微调和指令微调场景。该数据集包含训练课程以及每个训练步骤的测试样本的测试指标（包括损失、BLEU 和 ROUGE 分数）。该数据集由 Liu et al. 2024 引入。

数据集结构

• id: 测试样本的ID
• trajectory: GPT 训练状态项的列表。每个项包括当前训练步骤、相应的训练样本以及与 ID 对应的测试样本的测试指标。

数据实例

以下是 GPTDynamics 数据集的一个示例： json { "id": 200, "loss_trajectory": [ {"step": 1, "loss": 2.1776978969573975}, {"step": 2, "loss": 1.9405722618103027}, {"step": 3, "loss": 1.7367844581604004}, // 其他步骤的损失值... {"step": 96, "loss": 0.6112507581710815} ] } { "id": 201, "loss_trajectory": [ {"step": 1, "loss": 2.661651134490967}, {"step": 2, "loss": 2.3306431770324707}, {"step": 3, "loss": 2.03875732421875}, // 其他步骤的损失值... {"step": 96, "loss": 0.9079004526138306} ] }