HuggingFaceH4/instruct_me

--- license: apache-2.0 dataset_info: - config_name: instruction_tuning features: - name: text dtype: string - name: meta struct: - name: source dtype: string - name: config dtype: string splits: - name: train num_bytes: 29975565 num_examples: 41685 - name: test num_bytes: 3298059 num_examples: 4632 download_size: 18425612 dataset_size: 33273624 - config_name: reward_modelling features: - name: text dtype: string - name: meta struct: - name: source dtype: string - name: config dtype: string splits: - name: train num_bytes: 25274204 num_examples: 41685 - name: test num_bytes: 2777314 num_examples: 4632 download_size: 15636566 dataset_size: 28051518 - config_name: ppo features: - name: prompt dtype: string - name: meta struct: - name: source dtype: string - name: config dtype: string splits: - name: train num_bytes: 50787070 num_examples: 83371 - name: test num_bytes: 5715727 num_examples: 9264 download_size: 31461165 dataset_size: 56502797 - config_name: reward_modeling features: - name: prompt dtype: string - name: meta struct: - name: source dtype: string - name: config dtype: string splits: - name: train num_bytes: 25274204 num_examples: 41685 - name: test num_bytes: 2777314 num_examples: 4632 download_size: 15636838 dataset_size: 28051518 task_categories: - conversational - text-generation language: - en tags: - human-feedback - instruct - reward-modeling pretty_name: Instruct Me --- # Dataset card for Instruct Me ## Dataset Description - **Homepage:** - **Repository:** - **Paper:** - **Leaderboard:** - **Point of Contact:** Lewis Tunstall ### Dataset summary Instruct Me is a dataset of prompts and instruction dialogues between a human user and AI assistant. The prompts are derived from (prompt, completion) pairs in the [Helpful Instructions dataset](https://huggingface.co/datasets/HuggingFaceH4/helpful_instructions). The goal is to train a language model to that is "chatty" and can answer the kind of questions or tasks a human user might instruct an AI assistant to perform. ### Supported Tasks and Leaderboard We provide 3 configs that can be used for training RLHF models: #### instruction_tuning Single-turn user/bot dialogues for instruction tuning. #### reward_modeling Prompts to generate model completions and collect human preference data #### ppo Prompts to generate model completions for optimization of the instruction-tuned model with techniques like PPO. ### Changelog * March 6, 2023: `v1.1.0` release. Changed the `text` columns for the `reward_modeling` and `ppo` configs to `prompt` for consistency with our dataset schemas elsewhere. * March 5, 2023: `v1.0.0` release.license: Apache 2.0 许可证 dataset_info: - config_name: instruction_tuning（指令微调） features: - name: text，数据类型：字符串 - name: meta（元数据），结构体： - name: source（来源），数据类型：字符串 - name: config（配置），数据类型：字符串 splits: - name: train（训练集），字节数：29975565，样本数：41685 - name: test（测试集），字节数：3298059，样本数：4632 下载大小：18425612，数据集总大小：33273624 - config_name: reward_modelling（奖励建模） features: - name: text，数据类型：字符串 - name: meta（元数据），结构体： - name: source（来源），数据类型：字符串 - name: config（配置），数据类型：字符串 splits: - name: train（训练集），字节数：25274204，样本数：41685 - name: test（测试集），字节数：2777314，样本数：4632 下载大小：15636566，数据集总大小：28051518 - config_name: ppo（PPO） features: - name: prompt（提示词），数据类型：字符串 - name: meta（元数据），结构体： - name: source（来源），数据类型：字符串 - name: config（配置），数据类型：字符串 splits: - name: train（训练集），字节数：50787070，样本数：83371 - name: test（测试集），字节数：5715727，样本数：9264 下载大小：31461165，数据集总大小：56502797 - config_name: reward_modeling（奖励建模） features: - name: prompt（提示词），数据类型：字符串 - name: meta（元数据），结构体： - name: source（来源），数据类型：字符串 - name: config（配置），数据类型：字符串 splits: - name: train（训练集），字节数：25274204，样本数：41685 - name: test（测试集），字节数：2777314，样本数：4632 下载大小：15636838，数据集总大小：28051518 task_categories: 任务类别：对话式、文本生成 language: 语言：英语（en） tags: 标签：人类反馈、指令、奖励建模 pretty_name: 展示名称：Instruct Me # 「Instruct Me」数据集卡片 ## 数据集说明 - **主页**： - **代码仓库**： - **相关论文**： - **排行榜**： - **联系人**：刘易斯·滕斯托尔（Lewis Tunstall） ### 数据集摘要 「Instruct Me」是一个收录人类用户与AI助手之间提示词及指令对话的数据集。其提示词源自[Helpful Instructions数据集](https://huggingface.co/datasets/HuggingFaceH4/helpful_instructions)中的（提示词，补全内容）配对样本。本数据集旨在训练具备会话能力的大语言模型，使其能够响应人类用户向AI助手发起的各类查询或任务指令。 ### 支持任务与排行榜 我们提供3种配置，可用于训练人类反馈强化学习（Reinforcement Learning from Human Feedback，简称RLHF）模型： #### instruction_tuning（指令微调） 用于指令微调的单轮用户/机器人对话数据。 #### reward_modeling（奖励建模） 用于生成模型补全内容并收集人类偏好数据的提示词数据集。 #### ppo（PPO） 用于针对指令微调后的模型，通过PPO等强化学习技术进行优化的模型补全生成提示词数据集。 ### 更新日志 * 2023年3月6日：发布v1.1.0版本。为与本数据集其他模块的架构保持一致，将`reward_modeling`与`ppo`配置中的`text`字段更改为`prompt`。 * 2023年3月5日：发布v1.0.0版本。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0

数据集配置

配置一: instruction_tuning

• 特征:
  • text: 字符串类型
  • meta: 结构化数据，包含source和config，均为字符串类型
• 分割:
  • train: 41685个样本，29975565字节
  • test: 4632个样本，3298059字节
• 下载大小: 18425612字节
• 数据集大小: 33273624字节

配置二: reward_modelling

• 特征:
  • text: 字符串类型
  • meta: 结构化数据，包含source和config，均为字符串类型
• 分割:
  • train: 41685个样本，25274204字节
  • test: 4632个样本，2777314字节
• 下载大小: 15636566字节
• 数据集大小: 28051518字节

配置三: ppo

• 特征:
  • prompt: 字符串类型
  • meta: 结构化数据，包含source和config，均为字符串类型
• 分割:
  • train: 83371个样本，50787070字节
  • test: 9264个样本，5715727字节
• 下载大小: 31461165字节
• 数据集大小: 56502797字节

配置四: reward_modelling

• 特征:
  • prompt: 字符串类型
  • meta: 结构化数据，包含source和config，均为字符串类型
• 分割:
  • train: 41685个样本，25274204字节
  • test: 4632个样本，2777314字节
• 下载大小: 15636838字节
• 数据集大小: 28051518字节

语言

• 支持语言: 英语

任务类别

• 对话
• 文本生成

标签

• 人类反馈
• 指令
• 奖励建模

搜集汇总

数据集介绍

构建方式

Instruct Me数据集源自HuggingFaceH4/helpful_instructions数据集中的(prompt, completion)配对，通过精心筛选与重构，形成面向AI助手与人类用户之间的指令对话。数据集包含四个配置：instruction_tuning提供单轮用户/机器人对话用于指令微调；reward_modeling包含用于生成模型完成并收集人类偏好数据的提示；ppo则提供用于通过PPO等技术优化指令微调模型的提示。每个配置均划分为训练集和测试集，确保模型评估的可靠性。

使用方法

使用Instruct Me数据集时，用户可根据训练阶段选择相应配置：首先利用instruction_tuning配置对基础语言模型进行指令微调，使其具备对话能力；随后采用reward_modeling配置生成模型回答并收集人类偏好，训练奖励模型；最后通过ppo配置中的提示，结合PPO算法优化微调后的模型。数据集以标准HuggingFace格式提供，可通过datasets库直接加载，支持灵活的批处理和预处理操作。

背景与挑战

背景概述

在大型语言模型（LLM）的快速发展中，如何使模型能够遵循人类指令并生成符合预期的回复，已成为自然语言处理领域的核心课题。Instruct Me数据集由HuggingFace团队于2023年3月创建，主要研究人员包括Lewis Tunstall，旨在解决指令微调与人类反馈强化学习（RLHF）中的数据需求。该数据集基于Helpful Instructions数据集中的提示-完成对，构建了包含单轮指令对话、奖励建模提示及PPO优化提示的多配置资源。通过提供instruction_tuning、reward_modeling和ppo三个子集，Instruct Me为训练具备交互能力的对话式AI助手提供了标准化数据基础。其发布推动了指令遵循模型与偏好对齐技术的发展，成为RLHF研究中的重要基准。

当前挑战

Instruct Me数据集面临的首要挑战是领域问题中的指令多样性覆盖不足，现有数据源自Helpful Instructions，可能无法充分代表真实世界中用户与AI助手交互的复杂场景。其次，构建过程中，如何确保提示-完成对的质量与一致性成为关键难题，包括对低质量或模糊指令的筛选、跨配置数据格式的统一（如text与prompt字段的转换），以及奖励建模所需的人类偏好数据的可靠收集。此外，数据集规模有限（约4万条训练样本）可能限制模型泛化能力，而单轮对话结构难以捕捉多轮交互中的上下文依赖，这对训练更自然的对话系统构成了显著障碍。

常用场景

经典使用场景

在自然语言处理与人工智能对齐研究领域，HuggingFaceH4/instruct_me数据集被广泛用于指令微调（instruction tuning）任务，旨在训练语言模型具备遵循人类指令、完成多样化任务的能力。该数据集提供了单轮用户与AI助手的对话样本，覆盖从简单问答到复杂任务执行的广泛场景，为构建能够高效理解并执行人类意图的对话系统奠定了数据基础。研究者通过该数据集对预训练语言模型进行监督式微调，显著提升了模型在未见任务上的泛化性能与交互自然度。

解决学术问题

该数据集核心解决了如何基于人类反馈进行语言模型对齐的学术难题，尤其聚焦于从指令微调到基于人类偏好的强化学习（RLHF）的完整流程。通过提供instruction_tuning、reward_modeling和ppo三种配置，它系统性地支撑了奖励模型训练与策略优化研究，使学术界能够深入探索如何利用有限的人类标注数据有效引导大语言模型生成更符合社会规范与用户偏好的文本，从而推动了可控制、可信赖文本生成技术的发展。

实际应用

在实际应用中，instruct_me数据集支持构建各类智能对话助手与任务导向型系统，例如企业级客服机器人、教育辅导工具以及内容创作辅助平台。开发者可利用其ppo配置中的提示（prompt）数据，结合近端策略优化等强化学习算法，对指令微调后的模型进行进一步优化，使其在真实交互中展现出更低的偏见、更高的安全性以及更强的上下文遵循能力，从而提升用户满意度并降低部署风险。

数据集最近研究

最新研究方向

在人工智能与自然语言处理的交叉领域中，基于人类反馈的强化学习（RLHF）已成为提升大语言模型对话能力与指令遵循准确性的核心技术路径。HuggingFaceH4/instruct_me 数据集正是为支撑这一前沿方向而构建，它通过提供指令微调、奖励建模和近端策略优化（PPO）三个专用配置，为研究者搭建了从监督微调到偏好对齐的完整实验框架。该数据集紧密关联当前大模型安全性与可控性的热点议题，其设计理念强调从真实用户与AI助手的交互中提炼高质量对话样本，进而训练模型在开放域问答中展现更流畅、更符合人类预期的回应。该资源的发布不仅降低了RLHF研究的门槛，更推动了以数据驱动的方式探索如何让语言模型在保持创造力的同时，精准响应复杂指令，对构建更加可靠、对齐人类价值观的下一代对话系统具有深远意义。