huozi_rlhf_data

在活字1.0基础上，通过人类反馈的强化学习（RLHF）进一步优化了模型回复质量，使其更加符合人类偏好。相较于上一个版本平均长度明显提高，遵从指令的能力更强，逻辑更加清晰。16.9k 人工标注的偏好数据，回复来自活字模型，可以用于训练奖励模型。

Building upon the foundation of Huozi 1.0, the model's response quality has been further optimized through Reinforcement Learning from Human Feedback (RLHF), making it more aligned with human preferences. Compared to the previous version, there is a significant improvement in average response length, enhanced ability to follow instructions, and clearer logic. The dataset includes 16.9k human-annotated preference data, with responses generated by the Huozi model, which can be utilized for training reward models.

原始信息汇总

活字通用大模型数据集概述

📌 基本信息

• 模型名称：活字通用大模型
• 最新版本：活字3.5（2024-09-12发布）
• 开发团队：哈尔滨工业大学社会计算与信息检索研究中心（HIT-SCIR）
• 开源协议：Apache 2.0（支持商用，需登记授权）

🧠 模型架构

• 类型：稀疏混合专家模型（SMoE）
• 参数规模：46.7B总参数，13B激活参数
• 上下文长度：支持32K长上下文
• 核心能力：
  • 中英文知识理解
  • 数学推理
  • 代码生成
  • 指令遵循
  • 内容安全控制

📥 模型下载

模型版本	大小	下载地址
活字3.5	88GB	HuggingFace / ModelScope
中间检查点1-3	各88GB	详见模型下载章节

🏆 性能表现

评测数据集

• 中文能力：C-Eval、CMMLU、GAOKAO
• 英文能力：MMLU、HellaSwag
• 推理能力：GSM8K（数学）、HumanEval（编程）
• 对话能力：MT-Bench（中英文版）
• 安全性：MT-Bench-safety

对比结果

活字3.5在13B参数规模模型中表现优异，较前代版本（活字3.0）在多项指标上有稳定提升。

💾 配套数据资源

1. 中文MT-Bench数据集

   • 英文MT-Bench的中文翻译版
   • 包含多轮对话问题，经人工校对适配中文语境
   • 下载地址：数据集目录

2. RLHF数据（活字2.0配套）

   • 16.9k人工标注的偏好数据
   • 可用于奖励模型训练
   • 下载地址：RLHF数据文件

⚙️ 技术特点

训练流程

1. 中文扩词表增量预训练
2. 活字3.0指令微调（30万条指令数据）
3. 活字1.0数据集微调
4. 指令遵循能力强化（BPE Dropout技术）
5. 多模型融合优化

推理支持

• 框架兼容：Transformers、vLLM、llama.cpp、Ollama等
• Prompt格式：ChatML模板
• 量化方案：支持GGUF格式量化（如q4_0、q2_k）

📜 文献引用

latex @misc{huozi, author = {Huozi-Team}, title = {Huozi: Leveraging Large Language Models for Enhanced Open-Domain Chatting}, year = {2024}, publisher = {GitHub}, howpublished = {url{https://github.com/HIT-SCIR/huozi}} }

⚠️ 注意事项

• 模型可能生成包含事实错误或偏见的内容
• 需谨慎鉴别生成内容，避免传播有害信息
• 商用需联系授权：[e-mail]

搜集汇总

数据集介绍

构建方式

huozi_rlhf_data数据集的构建基于活字2.0模型的优化过程。该数据集包含了16.9k人工标注的偏好数据，这些数据是通过对活字模型的回复进行人类反馈的强化学习（RLHF）得到的。具体来说，这些数据用于训练奖励模型，以进一步优化模型的回复质量，使其更加符合人类偏好。通过这种方式，活字2.0模型在回复长度、指令遵循能力和逻辑清晰度方面得到了显著提升。

特点

huozi_rlhf_data数据集的主要特点在于其高质量的人工标注偏好数据。这些数据不仅数量庞大，而且经过精心筛选和校对，确保了数据的准确性和可靠性。此外，该数据集的应用使得活字2.0模型在多个方面实现了性能提升，包括更长的回复长度、更强的指令遵循能力以及更清晰的逻辑表达。这些特点使得该数据集在训练和优化大规模语言模型时具有重要价值。

使用方法

huozi_rlhf_data数据集主要用于训练奖励模型，以优化活字2.0模型的回复质量。使用该数据集时，研究人员可以通过强化学习算法，根据人类反馈的偏好数据对模型进行微调，从而提升模型在多轮对话和指令遵循任务中的表现。此外，该数据集还可以用于验证和测试其他强化学习算法的有效性，为自然语言处理领域的研究提供有力支持。

背景与挑战

背景概述

在自然语言处理领域，大规模语言模型（LLM）的快速发展为多种应用场景提供了强大的技术支持。哈尔滨工业大学社会计算与信息检索研究中心（HIT-SCIR）推出的活字通用大模型（huozi_rlhf_data）便是这一技术进步的体现。该数据集由HIT-SCIR团队主导，自2023年起陆续发布了多个版本，包括活字1.0、2.0和3.5，每个版本都在前一版本的基础上进行了性能优化和功能扩展。活字3.5版本尤其引人注目，它不仅支持32K长上下文，还在中英文知识、数学推理、代码生成等多个方面实现了显著提升。该数据集的发布，旨在为自然语言处理的研究和实际应用提供更多可能性和选择，对推动该领域的发展具有重要意义。

当前挑战

活字通用大模型在构建过程中面临多项挑战。首先，数据集的构建需要大量的标注数据，特别是活字2.0版本中包含了16.9k人工标注的偏好数据，这对数据质量和标注效率提出了高要求。其次，模型训练过程中需要处理多语言和多任务的复杂性，如何在保持模型通用性的同时提升特定任务的性能是一个重要挑战。此外，模型的推理效率和计算资源消耗也是需要解决的问题，尤其是在支持32K长上下文的情况下，如何有效管理和优化计算资源以确保模型的高效运行。最后，模型的安全性和内容生成质量控制也是一个持续的挑战，特别是在生成可能包含误导性或有害内容的情况下，如何确保输出的内容既准确又安全。

常用场景

经典使用场景

在自然语言处理领域，huozi_rlhf_data数据集的经典使用场景主要集中在通过人类反馈的强化学习（RLHF）来优化大规模语言模型（LLM）的回复质量。该数据集包含16.9k人工标注的偏好数据，这些数据可以用于训练奖励模型，从而使模型生成的回复更加符合人类偏好，提高指令遵循能力和逻辑清晰度。

解决学术问题

huozi_rlhf_data数据集解决了在自然语言处理研究中，如何通过人类反馈来优化模型输出的关键问题。通过引入人工标注的偏好数据，该数据集为研究者提供了一个有效的工具，用以改进模型的指令遵循能力和内容安全性。这不仅提升了模型的实用性，也为相关领域的研究提供了新的方向和方法。

衍生相关工作

基于huozi_rlhf_data数据集，研究者们开发了多个相关的经典工作。例如，通过该数据集训练的模型在多个评测任务上表现优异，如C-Eval、CMMLU等，展示了其在中英文知识、数学推理和代码生成等方面的强大能力。此外，该数据集还促进了RLHF技术在自然语言处理中的应用研究，推动了相关领域的发展。