户晨风

# MrHu: 基于户晨风直播文字稿的中文对话数据集 ## 数据集概述 MrHu 是一个用于训练个性化对话AI模型的中文文本数据集。该数据集整理自主播及内容创作者 **户晨风先生** 近三年的公开直播内容，旨在为研究者与开发者提供高质量的、具有鲜明个人语言风格的大模型微调语料。 **核心价值**：数据集捕捉了特定人物在长时间跨度、真实互动场景下的语言模式、用词习惯、观点表达与对话逻辑，是研究“AI数字人”个性化塑造、对话风格迁移、以及垂直领域大模型微调的宝贵资源。 ## 数据集详情 * **数据集名称**：MrHu * **作者/维护者**：HenryChen66 * **语言**：中文 (zh) * **领域/主题**：社交媒体、直播对话、个性化语言 * **许可协议**：`Apache License 2.0` ## 数据构成与来源 1. **数据来源**： * 原始数据采集自户晨风先生自 **2023年1月** 至 **2025年12月** 期间的公开直播。 * 原始文本整理仓库：[https://github.com/Olcmyk/HuChenFeng](https://github.com/Olcmyk/HuChenFeng) 2. **数据处理与构建**： * 本数据集在原始转录稿的基础上，进行了清洗、格式统一与结构化整理。 * 处理可能包括：去除无关标记、合并连续发言、按话题或会话切分等，以形成适合指令微调（Instruction Tuning）的对话样本。 ## 数据集结构 数据集目录结构示例如下： ``` MrHu/ ├── README.md (本文件) ├── raw_data.json (完整的原始数据，按照时间先后顺序排列并编号) ├── train_data.json (完整的训练集) ├── test_data.json (验证集，可选) ├── data_with_conv.json (完整的训练集，将拥有历史对话) └── data_with_knowledge.json (60%常识内容+40%语录数据，用于微调) ``` ### 数据格式 (以 `train_data1.json` 为例) 每条数据是一个JSON对象，通常组织为多轮对话格式，以匹配Qwen等大模型的微调输入要求。 **消息列表格式：** ```json { "id": "2025-06-22_2", "conversations": [ { "from": "human", "value": "说苹果耳机就比其他耳机一定比其他耳机好？" }, { "from": "gpt", "value": "不是同价位还真用过，你别说用过毛米的，当然是便宜的一二百的。" } ] }, ``` ## 使用方式 ### 1. 下载数据集 您可以通过以下方式获取此数据集： **通过 ModelScope 下载：** ```bash # 使用 Git git clone https://www.modelscope.cn/datasets/HenryChen66/MrHu.git # 使用 ModelScope SDK (推荐) pip install modelscope ``` ```python from modelscope import MsDataset dataset = MsDataset.load('HenryChen66/MrHu', subset_name='default', split='train') for item in dataset: print(item) # 处理您的数据 ``` ### 2. 用于模型微调 此数据集适用于使用 **Qwen2.5-7B-Instruct** 等基座模型进行监督微调（SFT）或LoRA微调。 ## 数据伦理、限制与注意事项 1. **隐私与版权**： * 本数据集基于公开直播内容整理，旨在用于研究和技术探索。 * 使用者应尊重原始创作者（户晨风先生）的肖像权、名誉权及直播内容的相应权益。**严禁用于任何诋毁、诽谤、恶意冒充或商业侵权用途。** 2. **数据偏见与风险**： * 数据集反映了特定个人的观点和语言风格，天然包含其主观性、潜在偏见及表达习惯。基于此数据训练的模型，其输出可能**强化或再现这些特质**。 * 模型可能生成不准确、冒犯性或带有偏见的内容，这**完全源于数据本身的特性，不代表数据集作者及ModelScope平台的观点**。 3. **使用限制**： * **研究目的**：鼓励用于AI个性化、对话生成、风格迁移等领域的研究。 * **技术验证**：可用于验证大模型微调、LoRA等高效训练方法。 * **禁止用途**：任何试图误导他人相信是户晨风先生本人发言、用于虚假信息传播、网络欺诈或其他非法及不道德的活动。 4. **数据质量**： * 直播转录文本可能存在口语化、重复、断句不完整或转录错误。虽经清洗，但无法保证100%的准确性与规范性。 ## 致谢 * 感谢户晨风先生创造并提供丰富的公开直播内容作为原始语料。 * 感谢原始数据整理项目 [HuChenFeng](https://github.com/Olcmyk/HuChenFeng) 的前期工作。 * 感谢ModelScope平台为数据集提供的托管与分享服务。 **最后更新**：`2026-03-18` **重要提示**：请务必在使用本数据集前，仔细阅读并理解上述“数据伦理、限制与注意事项”部分。您的使用行为即代表您同意承担相应的责任。