nanochat-jp-rl
收藏资源简介：
nanochat-jp-rl 是一个用于强化学习（RL）的日语多轮对话数据集，专为 nanochat-jp 项目设计。该数据集旨在通过 GRPO 类似的方法对已经过监督微调（SFT）的模型进行进一步训练。数据以 JSONL 格式提供，每行代表一个完整的对话，由 messages 数组构成，顺序为从 user 角色开始，以 assistant 角色结束。数据集包含两个文件：v0/if_train.jsonl（训练集）和 v0/if_dev.jsonl（开发集）。数据生成过程包括：首先，基于 NVIDIA 的 Nemotron-Personas-Japan 数据集中的 persona（包含文化背景、技能、兴趣、职业、性别、婚姻状况、教育背景、居住地等信息），结合对话的起始方式（咨询、提问、闲聊、自由）和语气，让 LLM 同时扮演用户和助手角色，生成最多 4 轮的自聊天（self-chat）对话；然后，过滤掉因生成中断（finish_reason 非 stop）或角色交替被打乱的对话，并将每个对话随机截断到以 assistant 回复结尾的前缀；最后，分割为训练集和开发集。数据集的许可证为混合来源，未设定单一许可证：persona 部分采用 CC BY 4.0，对话文本受生成所用模型的许可证约束。注意：所有对话均由 LLM 生成，不保证事实准确性；persona 为合成数据，不反映真实人物；尽管经过过滤，仍可能包含不适当内容或错误信息。
nanochat-jp-rl is a Japanese multi-turn dialogue dataset for reinforcement learning (RL), designed for the nanochat-jp project. It aims to further train models that have undergone supervised fine-tuning (SFT) via GRPO-like methods. The data is provided in JSONL format, with each line representing a complete conversation consisting of a messages array, starting with a user role and ending with an assistant role. The dataset includes two files: v0/if_train.jsonl (training set) and v0/if_dev.jsonl (development set). The data generation process involves: first, based on personas from NVIDIAs Nemotron-Personas-Japan dataset (including cultural background, skills, interests, occupation, gender, marital status, education, residence, etc.), combined with conversation initiation styles (consultation, questioning, casual chat, free) and tones, an LLM plays both user and assistant roles to generate self-chat dialogues of up to 4 turns; then, dialogues with interrupted generation (finish_reason not stop) or disrupted role alternation are filtered out, and each dialogue is randomly truncated to a prefix ending with an assistant response; finally, split into training and development sets. The dataset license is mixed, with no single license: the persona part is under CC BY 4.0, and the dialogue text is subject to the license of the model used for generation. Note: All dialogues are generated by LLMs, and factual accuracy is not guaranteed; personas are synthetic data and do not reflect real people; despite filtering, inappropriate content or errors may still exist.
nanochat-jp-rl 数据集概述
基本信息
- 语言: 日语（ja）
- 任务类型: 文本生成（text-generation）
- 许可证: 混合来源许可证（other），因生成所用素材和模型的许可证混杂，数据集整体未设定单一许可证
- 数据集页面: https://huggingface.co/datasets/tohoku-nlp/nanochat-jp-rl
数据集用途
本数据集是日语多轮对话的强化学习（RL）训练数据，用于对SFT（监督微调）后的模型进行GRPO类似方法的进一步训练（通过scripts/chat_rl.py脚本），是nanochat日文分支nanochat-jp项目中使用的RL数据。
数据格式
- 文件格式为JSONL，每行对应一个对话，是
messages的JSON数组 - 对话以
user角色开始，以assistant角色结束，呈交替排列 - 格式与SFT数据集（tohoku-nlp/nanochat-jp-sft）相同
- 示例结构：
[{"role": "user", "content": "..."}, {"role": "assistant", "content": "..."}]
文件构成
| 文件 | 用途 |
|---|---|
v0/if_train.jsonl |
训练数据集 |
v0/if_dev.jsonl |
开发数据集 |
数据构建流程
- ペルソナ条件付き self-chat 生成: 基于nvidia/Nemotron-Personas-Japan中的各ペルソナ（文化背景、技能、爱好、职业、性别、婚姻状况、学历、职业、都道府县）以及对话切入方式（咨询、提问、闲聊、自由）和语气进行提示词设定，由LLM扮演用户和助手双方，生成最多4轮对话
- RL格式转换: 过滤掉生成中途截断（
finish_reason非stop）及user/assistant交替性失效的对话，并将每个对话随机截断为以assistant结束的前缀 - 训练/开发集划分
许可证详情
| 构成要素 | 许可证 |
|---|---|
| ペルソナ（用于对话条件设定） | CC BY 4.0（来自NVIDIA Nemotron-Personas-Japan数据集） |
| 对话内容 | LLM生成物，使用时需遵循所用生成模型的许可证和使用条款 |
注意事项
- 所有对话均为LLM生成物，不保证事实准确性
- ペルソナ为合成数据，非真实人物
- 虽经过过滤，仍可能包含不当内容或错误信息
