nvidia/HelpSteer

HelpSteer数据集包含37,120个样本，每个样本包括一个提示、一个响应以及五个人工标注的属性（帮助性、正确性、连贯性、复杂性和冗长性）。这些属性的评分范围是0到4，分数越高表示该属性越好。数据集用于训练模型，使其在帮助性、事实正确性和连贯性方面表现更好，同时可以调整响应的复杂性和冗长性。数据集的提示和响应分别由Scale AI和内部LLM生成，标注工作也由Scale AI完成。

The HelpSteer dataset contains 37,120 samples. Each sample consists of a prompt, a response, and five human-annotated attributes: helpfulness, correctness, coherence, complexity, and verbosity. Each attribute is scored on a scale of 0 to 4, with a higher score indicating better performance for that attribute. This dataset is designed to train models to improve their performance in helpfulness, factual correctness and coherence, while enabling adjustment of the complexity and verbosity of model responses. The prompts and responses in the dataset were generated by Scale AI and an internal LLM respectively, and the annotation work was also completed by Scale AI.

原始信息汇总

HelpSteer: Helpfulness SteerLM Dataset

数据集描述

HelpSteer 是一个开源的帮助性数据集（CC-BY-4.0），旨在支持模型变得更加有用、事实准确和连贯，同时可以根据响应的复杂性和冗长性进行调整。

数据集特征

• 名称: Helpfulness SteerLM Dataset
• 语言: 英语
• 大小类别: 10K<n<100K
• 标签: human-feedback

数据集信息

• 特征:
  • prompt: 字符串
  • response: 字符串
  • helpfulness: 整数 (int32)
  • correctness: 整数 (int32)
  • coherence: 整数 (int32)
  • complexity: 整数 (int32)
  • verbosity: 整数 (int32)
• 分割:
  • train: 35331 个样本
  • validation: 1789 个样本

数据集内容

HelpSteer 包含 37,120 个样本，每个样本包含一个提示、一个响应以及五个由人工标注的响应属性，每个属性在 0 到 4 之间，数值越高表示越好。

这些属性包括：

1. Helpfulness: 响应对提示的整体帮助性。
2. Correctness: 包含所有相关事实且无错误。
3. Coherence: 表达的一致性和清晰度。
4. Complexity: 编写响应所需的智力深度（即响应是否可以由具有基本语言能力的人编写，或者需要深入的领域专业知识）。
5. Verbosity: 响应中包含的详细程度，相对于提示中要求的。

示例

json { "prompt": "What are the three most important things to consider when deciding what technology to use to build an assist device to help an elderly person with basic needs?", "response": "To build an assistive device to help an elderly person with basic needs, one must consider three crucial things: safety, compatibility, and ease of use. Safety is paramount, as the device must not cause harm to the user. Compatibility with the users environment and other devices is also essential. Finally, the device must be simple enough for the elderly person to operate.", "helpfulness": 3, "correctness": 4, "coherence": 4, "complexity": 2, "verbosity": 2 }

使用 Huggingface 数据集

python from datasets import load_dataset

ds = load_dataset("nvidia/HelpSteer")

train = ds[train] # len(train) = 35331 (95%) val = ds[validation] # len(val) = 1789 (5%)

数据来源

1. 提示是通过模板生成（主要用于涉及长参考文本的提示）和由 Scale AI 人工生成的混合体。这些提示涉及重写、总结、分类、提取、封闭式问答、开放式问答、生成和头脑风暴等任务。
2. 响应由内部早期版本的 LLM 生成。我们使用采样技术为每个提示生成最多 4 个响应，以提供多样且合理的响应。
3. 各种属性的标注由 Scale AI 完成。标注者根据 Likert 5 级量表（0 到 4）对每个属性（帮助性、正确性、连贯性、复杂性和冗长性）进行评分。

标注方法（简述）

1. 我们通过 Scale AI 聘请了一组精选的承包商。这些承包商提供了详细的指南，定义了每个属性以及每个评级级别的标准，以及一些标注示例。这些指南和示例在附带的论文附录中有详细说明。
2. 标注过程涉及约 200 名美国本土的人工标注者。候选人首先进行了初步任务，包括英语水平评估，以确定其是否适合参与项目。随后，他们参加了关于任务的入门培训课程，该课程以对 35 个样本响应进行标注的测试结束。这一过程确保了对任务要求的深入理解，并提供了高质量的标注。
3. 标注后，Scale AI 进行了广泛的质量保证，每个标注至少经过两个人工审查和自动检查。从 Scale AI 收到标注后，我们进行了独立的质量保证，以确保标注质量符合我们的期望。因此，一些标注被过滤掉，只保留了 37,120 个样本。

伦理声明

数据集的标注者通过 Scale AI 签约。Scale AI 采用 Anker 方法论、GISC 影响外包标准和联合国可持续发展目标，提供公平和有竞争力的薪酬。具体的薪酬根据多个因素计算，包括特定项目、所需的专业技能和专业知识、地区生活成本，并在 Scale AI 平台上透明列出。Scale AI 还提供多个问题和支持渠道，包括 24/7 支持团队、与专门培训的版主的社区讨论渠道，以及一个匿名报告问题的“发声”热线。工人的担忧可以提交给我们的 Remotasks 支持团队审查，薪酬争议由支持专家审查。

联系

电子邮件: Zhilin Wang

引用

如果您发现此数据集有用，请引用以下作品： bibtex @misc{wang2023helpsteer, title={HelpSteer: Multi-attribute Helpfulness Dataset for SteerLM}, author={Zhilin Wang and Yi Dong and Jiaqi Zeng and Virginia Adams and Makesh Narsimhan Sreedhar and Daniel Egert and Olivier Delalleau and Jane Polak Scowcroft and Neel Kant and Aidan Swope and Oleksii Kuchaiev}, year={2023}, eprint={2311.09528}, archivePrefix={arXiv}, primaryClass={cs.CL} }

bibtex @misc{dong2023steerlm, title={SteerLM: Attribute Conditioned SFT as an (User-Steerable) Alternative to RLHF}, author={Yi Dong and Zhilin Wang and Makesh Narsimhan Sreedhar and Xianchao Wu and Oleksii Kuchaiev}, year={2023}, eprint={2310.05344}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

在大语言模型对齐技术的研究浪潮中，高质量的人类反馈数据集扮演着不可或缺的角色。nvidia/HelpSteer数据集正是为支持模型在有用性、事实正确性、连贯性等维度上进行精细调控而构建的。该数据集包含37,120个样本，每个样本由一条提示（prompt）和一条模型生成的回复（response）构成，并附有五个维度的0至4级人工标注分数，分别衡量回复的有用性、正确性、连贯性、复杂度和详尽度。其构建过程严谨而系统：提示部分来源于模板生成与Scale AI人工编写的混合方式，覆盖改写、摘要、分类、抽取、闭卷问答、开卷问答、生成和头脑风暴等多种任务；回复由内部早期版本的大语言模型通过多样化的采样技术生成，每道提示最多生成四条回复；标注工作由约200名美国本土标注员完成，他们经过严格的筛选、培训与测试，确保对每个属性及评分标准有深刻理解。最终，经过Scale AI的多重质量审查以及研究团队的独立核验，保留了高质量样本，形成了这一开源数据集。

特点

HelpSteer数据集的核心特点在于其多维度、细粒度的属性标注体系，这使其在众多人类反馈数据集中独树一帜。与仅提供单一偏好标签的数据集不同，HelpSteer为每条回复标注了有用性、正确性、连贯性、复杂度和详尽度五个相互独立的属性，每个属性均采用五点李克特量表（0至4分）进行量化。这种多维标注机制使模型能够学习到更为丰富的反馈信号，从而在后续的SteerLM训练中对生成行为进行精确的条件控制。此外，数据集中提示来源的多样性确保了覆盖广泛的应用场景，而回复的多样生成方式则为模型提供了丰富的学习范例。基于该数据集训练的Llama 2 70B模型在MT Bench上取得了7.54分的佳绩，这一成绩在基于开源数据集训练的模型中名列前茅，充分彰显了该数据集在提升模型对话能力方面的卓越效能。

使用方法

在技术实现层面，研究者可通过HuggingFace Datasets库便捷地加载和使用HelpSteer数据集。使用`load_dataset("nvidia/HelpSteer")`即可获取包含训练集和验证集的数据对象，其中训练集包含35,331个样本，验证集包含1,789个样本。每个样本以字典形式呈现，包含'prompt'、'response'以及五个属性评分字段，可直接用于模型的监督微调或基于人类反馈的强化学习流程。值得一提的是，该数据集专为NVIDIA提出的SteerLM训练范式而设计，开发者可结合NeMo Aligner工具链，按照官方提供的SteerLM训练用户指南，利用这五个属性分数作为条件标签，训练出能够根据用户偏好动态调整回复风格与质量的对话模型。此外，研究者也可将HelpSteer作为通用的人类偏好数据集，用于其他对齐方法的研究与评估。

背景与挑战

背景概述

在大型语言模型（LLM）领域，如何让模型生成既符合人类偏好又具备可控性的回复，一直是核心研究议题。传统的强化学习从人类反馈（RLHF）方法虽能提升模型对齐度，但往往难以精细调控回复的多维属性。在此背景下，NVIDIA研究团队于2023年发布了HelpSteer数据集，由Zhilin Wang、Yi Dong等学者主导，旨在为SteerLM框架提供多属性标注的人类反馈数据。该数据集包含37,120个样本，每个样本涵盖提示、回复以及五个关键属性（帮助性、正确性、连贯性、复杂度和冗长度）的人工评分，评分范围为0至4。基于HelpSteer训练的Llama 2 70B模型在MT Bench上取得了7.54的高分，成为当时基于开源数据集训练的最佳模型之一，显著推动了可控文本生成与人类偏好对齐领域的发展。

当前挑战

HelpSteer数据集面临的核心挑战之一在于其解决的领域问题：如何使LLM在生成回复时不仅满足整体帮助性，还能在正确性、连贯性、复杂度和冗长度等多个维度上实现精确可控。传统方法往往难以同时优化这些相互关联的属性，导致模型输出缺乏灵活性。此外，数据集构建过程本身亦充满挑战。首先，提示的来源需混合模板生成与人工撰写，涵盖改写、摘要、分类等八种任务，确保多样性但增加了质量控制难度。其次，回复由内部早期版本LLM生成，最多每个提示产生四条候选，需平衡多样性与合理性。最后，人工标注环节涉及约200名美国标注员，需通过严格的英语能力测试和35个样本的入门培训，以确保对多维属性的理解一致。标注后还需经过至少两轮人工复核及自动化检查，最终过滤仅保留37,120个高质量样本，这一过程对成本与时间提出了极高要求。

常用场景

经典使用场景

HelpSteer数据集的核心经典应用在于为大语言模型提供多维度的细粒度人类反馈，以支持SteerLM等可控对齐训练范式。该数据集包含超过三万七千条提示-回应样本，每条回应均标注了帮助性、正确性、连贯性、复杂度和冗长度这五项关键属性，每项属性采用0至4的Likert五级量表进行量化。研究者可借助这些多属性标注，在监督微调阶段对模型进行属性条件化的训练，使其生成的回应能够在不同维度上实现灵活调控，从而在保持高质量输出的同时，赋予用户对模型行为进行精细调节的能力。

衍生相关工作

围绕HelpSteer数据集已衍生出一系列具有影响力的经典工作。其直接延续为HelpSteer2数据集，在标注质量和样本多样性上实现了进一步优化，成为更推荐使用的升级版本。基于该数据集训练的开源模型Llama2-70B-SteerLM-Chat在MT Bench榜单上取得了7.54分的领先成绩，验证了多属性标注在模型对齐中的有效性。此外，NVIDIA推出的NeMo Aligner框架中集成了SteerLM训练指南，为社区提供了标准化的训练流程。相关研究论文《HelpSteer: Multi-attribute Helpfulness Dataset for SteerLM》与《SteerLM: Attribute Conditioned SFT as an (User-Steerable) Alternative to RLHF》共同奠定了多维可控对齐的理论与实践基础。

数据集最近研究

最新研究方向

在大语言模型对齐领域，多属性人类反馈数据集正成为突破传统RLHF局限的关键路径。nvidia/HelpSteer作为开源的多维帮助性数据集，通过构建涵盖帮助性、正确性、连贯性、复杂度和冗长度五维度的细粒度标注体系，为模型可控生成提供了新范式。该数据集支撑的SteerLM训练方法使得Llama 2 70B模型在MT Bench上取得7.54分，创下当时基于开源数据训练模型的最高纪录，标志着从单一奖励模型向用户可调节的属性条件化监督微调的重要转变。当前前沿研究聚焦于如何利用此类多维反馈实现模型行为的精细调控，特别是在医疗咨询、法律文书等需要平衡专业性与可读性的场景中，HelpSteer所倡导的可控生成理念正在催生新一代交互式AI系统。其后续版本HelpSteer2的发布更体现了该方向在数据质量和标注维度上的持续进化，为构建更加安全、可靠且用户可定制的对话系统奠定了重要基础。