HaoyeZhang/RLHF-V-Dataset

---
license: cc-by-nc-4.0
task_categories:
- text-generation
- visual-question-answering
language:
- en
configs:
- config_name: default
data_files: RLHF-V-Dataset.parquet
dataset_info:
features:
- name: ds_name
dtype: string
- name: image
dtype: image
- name: text
dtype: string
- name: origin_dataset
dtype: string
- name: origin_split
dtype: string
- name: idx
dtype: int64
- name: image_path
dtype: string
pretty_name: RLHF-V-Dataset
size_categories:
- 1K<n<10K
---
# Dataset Card for RLHF-V-Dataset
[Project Page](https://rlhf-v.github.io/) | [Paper](https://arxiv.org/abs/2312.00849) | [GitHub](https://github.com/RLHF-V/RLHF-V)

## Updates
**[2024.01.06]** 🔥 **A larger, more diverse set of fine-grained human correction data is available now!** 🔥 The newly released data has about **5.7k of fine-grained human correction data** that covers the output of **more powerful models** (Qwen-VL-Chat, InstructBLIP, etc.). We also **expand the image types** from everyday scenes to diverse styles and themes (WikiArt, landmarks, scene texts, etc.).

**[2024.01.05]** 🔧 We reformat our dataset and now it is **more convenient to preview and use** our data! The dataset now supports the `load_dataset` function, and the data content can be easily previewed online.

**[2023.12.15]** We incorporated a new annotation subset with an additional **1065 fine-grained annotations** into our dataset !

## Dataset Summary
RLHF-V-Dataset is the human preference data used in "**RLHF-V: Towards Trustworthy MLLMs via Behavior Alignment from Fine-grained Correctional Human Feedback**".

We originally collected a large amount of **fine-grained segment-level human corrections** on diverse instructions, including detailed descriptions and question-answering instructions. More high-quality annotations for different image sources and model outputs are on the way.

<p align="center">
<img src="https://cdn-uploads.huggingface.co/production/uploads/6566e0c493e30c8a60048eb3/jerEZiHDDc2ceF9anVHR-.png" alt="fig1" width="60%"/>
</p>

Utilizing our dataset can dramatically **reduce model hallucinations by 34.8%** while **keeping informativeness**.

<p align="center">
<img src="https://cdn-uploads.huggingface.co/production/uploads/6566e0c493e30c8a60048eb3/7xJEdKXeW33iKdHqJwvNN.png" alt="fig2" width="70%"/>
</p>

## Usage
```python
from datasets import load_dataset

data = load_dataset("HaoyeZhang/RLHF-V-Dataset")
```

## Data fields

| | Key | Description |
| ---- | ---------------- | ------------------------------------------------------------ |
| 0 | `ds_name` | Dataset name. |
| 1 | `image` | Dict contains path and bytes. If loaded by `load_dataset`, it can be automatically converted into a PIL Image. |
| 2 | `text` | Preference data. Each data item contains a dict with the keys "question", "chosen", and "rejected". |
| 3 | `origin_dataset` | Original dataset for annotation, which is not used in training. |
| 4 | `origin_split` | Meta information for each data item, including the name of the model we use to generate the original answer, and the question type ("detailed description" or "question answering") |
| 5 | `idx` | Data index. |
| 6 | `image_path` | Image path. |

## Citation

```
@article{yu2023rlhf,
title={Rlhf-v: Towards trustworthy mllms via behavior alignment from fine-grained correctional human feedback},
author={Yu, Tianyu and Yao, Yuan and Zhang, Haoye and He, Taiwen and Han, Yifeng and Cui, Ganqu and Hu, Jinyi and Liu, Zhiyuan and Zheng, Hai-Tao and Sun, Maosong and others},
journal={arXiv preprint arXiv:2312.00849},
year={2023}
}
```

许可证：CC-BY-NC-4.0
任务类别：
- 文本生成
- 视觉问答
语言：
- 英语
配置项：
- 配置名称：default
数据文件：RLHF-V-Dataset.parquet
数据集信息：
字段特征：
- 名称：ds_name，数据类型：字符串
- 名称：image，数据类型：图像
- 名称：text，数据类型：字符串
- 名称：origin_dataset，数据类型：字符串
- 名称：origin_split，数据类型：字符串
- 名称：idx，数据类型：整数
- 名称：image_path，数据类型：字符串
数据集展示名：RLHF-V-Dataset
数据规模：1K<n<10K
---
# RLHF-V数据集卡片
[项目主页](https://rlhf-v.github.io/) | [论文](https://arxiv.org/abs/2312.00849) | [GitHub仓库](https://github.com/RLHF-V/RLHF-V)

## 更新记录
**[2024.01.06]** 🔥 **现已发布规模更大、多样性更强的细粒度人工修正数据！** 🔥 本次新增数据包含约**5.7k条细粒度人工修正样本**，覆盖**更强性能模型**（如Qwen-VL-Chat、InstructBLIP等）的输出结果。同时我们还将**图像类型覆盖范围**从日常场景拓展至多元风格与主题（如WikiArt、地标、场景文本等）。

**[2024.01.05]** 🔧 我们已对数据集进行重构，如今**预览与使用体验更为便捷**！当前数据集已支持`load_dataset`函数调用，且支持在线直观预览数据内容。

**[2023.12.15]** 我们新增了一个标注子集，为数据集补充了**1065条细粒度人工标注样本**！

## 数据集概述
RLHF-V数据集是论文**《RLHF-V：基于细粒度人工反馈行为对齐实现可信多模态大语言模型（Multimodal Large Language Model, MLLM）》**中使用的人工偏好数据。

我们最初针对多样化指令（包括详细描述类指令与问答类指令）收集了大量**细粒度片段级人工修正数据**。后续还将推出针对不同图像来源与模型输出的高质量标注数据。

<p align="center">
<img src="https://cdn-uploads.huggingface.co/production/uploads/6566e0c493e30c8a60048eb3/jerEZiHDDc2ceF9anVHR-.png" alt="fig1" width="60%"/>
</p>

使用该数据集可将模型幻觉现象显著降低34.8%，同时**保持输出信息的丰富性**。

<p align="center">
<img src="https://cdn-uploads.huggingface.co/production/uploads/6566e0c493e30c8a60048eb3/7xJEdKXeW33iKdHqJwvNN.png" alt="fig2" width="70%"/>
</p>

## 使用方法
python
from datasets import load_dataset

data = load_dataset("HaoyeZhang/RLHF-V-Dataset")

## 数据字段

| 序号 | 字段名 | 字段说明 |
| ---- | ---------------- | ------------------------------------------------------------ |
| 0 | `ds_name` | 数据集名称。 |
| 1 | `image` | 包含路径与字节数据的字典。若通过`load_dataset`加载，可自动转换为PIL图像对象。 |
| 2 | `text` | 偏好数据。每条数据项均为包含`question`、`chosen`与`rejected`三个键的字典。 |
| 3 | `origin_dataset` | 用于标注的原始数据集，未用于模型训练。 |
| 4 | `origin_split` | 每条数据的元信息，包括生成原始答案所使用的模型名称，以及指令类型（"详细描述"或"问答"）。 |
| 5 | `idx` | 数据索引。 |
| 6 | `image_path` | 图像路径。 |

## 引用

@article{yu2023rlhf,
title={Rlhf-v: Towards trustworthy mllms via behavior alignment from fine-grained correctional human feedback},
author={Yu, Tianyu and Yao, Yuan and Zhang, Haoye and He, Taiwen and Han, Yifeng and Cui, Ganqu and Hu, Jinyi and Liu, Zhiyuan and Zheng, Hai-Tao and Sun, Maosong and others},
journal={arXiv preprint arXiv:2312.00849},
year={2023}
}

原始信息汇总

数据集概述

基本信息

• 数据集名称：RLHF-V-Dataset
• 许可证：cc-by-nc-4.0
• 语言：英语
• 配置：默认配置，数据文件为RLHF-V-Dataset.parquet
• 大小范围：1K<n<10K

数据集特征

• ds_name：数据集名称，数据类型为字符串。
• image：图像数据，数据类型为图像。
• text：文本数据，数据类型为字符串。
• origin_dataset：原始数据集，数据类型为字符串。
• origin_split：原始分割信息，数据类型为字符串。
• idx：数据索引，数据类型为int64。
• image_path：图像路径，数据类型为字符串。

数据集用途

• 任务类别：文本生成、视觉问答
• 应用：用于"RLHF-V: Towards Trustworthy MLLMs via Behavior Alignment from Fine-grained Correctional Human Feedback"研究，主要用于减少模型幻觉并保持信息性。

数据集更新

• 2024.01.06：新增约5.7k的细粒度人类校正数据，扩展了图像类型。
• 2024.01.05：数据集格式更新，支持load_dataset函数，便于预览和使用。
• 2023.12.15：新增1065个细粒度注释。

数据集加载示例

python from datasets import load_dataset

data = load_dataset("HaoyeZhang/RLHF-V-Dataset")

数据字段描述

• ds_name：数据集名称。
• image：包含路径和字节的字典，可自动转换为PIL图像。
• text：偏好数据，每个数据项包含"question", "chosen", "rejected"键。
• origin_dataset：原始注释数据集。
• origin_split：元信息，包括模型名称和问题类型。
• idx：数据索引。
• image_path：图像路径。

搜集汇总

数据集介绍

构建方式

RLHF-V-Dataset是面向多模态大语言模型行为对齐的细粒度人类偏好数据集，源自论文《RLHF-V: Towards Trustworthy MLLMs via Behavior Alignment from Fine-grained Correctional Human Feedback》。该数据集通过收集大量细粒度的片段级人类修正构建而成，覆盖多样化指令类型，包括详细描述和问答任务。数据来源涵盖多种视觉场景，如日常环境、WikiArt艺术作品、地标建筑及场景文本等，并基于Qwen-VL-Chat、InstructBLIP等更强模型生成原始回答，再由人工进行精细化修正。最终数据集包含5,733个偏好对，每个数据项包含图像、问题、被选回答与被拒回答等字段，结构清晰，便于直接用于偏好学习。

使用方法

该数据集的使用极为便捷，支持通过HuggingFace的`datasets`库直接加载。用户仅需调用`load_dataset("HaoyeZhang/RLHF-V-Dataset")`即可获取完整数据，其中图像字段可自动转换为PIL Image格式，便于后续处理。每个数据项包含`ds_name`、`image`、`text`（内含question、chosen、rejected键）、`origin_dataset`、`origin_split`、`idx`和`image_path`等字段，适用于偏好对齐训练和评估。研究者可基于该数据微调多模态模型，或将其作为基准进行模型可信度对比分析。数据采用CC-BY-NC-4.0许可协议，需在学术用途中引用相关论文。

背景与挑战

背景概述

在多模态大语言模型（MLLMs）迅猛发展的浪潮中，模型生成内容的可信度与事实准确性成为制约其实际应用的核心瓶颈。为应对模型普遍存在的幻觉现象与行为偏差，来自清华大学等机构的研究团队于2023年提出了RLHF-V-Dataset，旨在通过细粒度的人类偏好对齐来提升MLLMs的可靠性。该数据集由Haoye Zhang、Tianyu Yu等研究者主导构建，围绕详细描述与问答两类指令，收集了逾5700对细粒度的片段级人工修正偏好数据。其核心研究问题在于，如何利用精准的局部修正信号而非全局评分，引导模型在保持信息丰富度的同时，显著降低幻觉率——实验表明，基于该数据集的训练可使模型幻觉减少34.8%。这一工作为多模态对齐学习提供了高质量的数据基础，并对后续RLAIF-V等自动化反馈方法产生了深远影响。

当前挑战

RLHF-V-Dataset所面临的挑战首先体现在领域问题的复杂性上：多模态大语言模型在生成图像描述或回答问题时，常出现事实性错误或与视觉内容不符的幻觉，传统的全局偏好标注难以精准定位错误片段，亟需一种细粒度的行为对齐策略。在构建过程中，研究者遭遇了多重困难：一是高质量人工修正数据的获取成本极高，需对每对偏好数据中的“被拒绝”回答进行逐段修正，且要覆盖日常场景、艺术作品、地标建筑、场景文字等多种图像类型，以保证多样性；二是数据规模的限制，尽管最终包含5733对偏好样本，但对于复杂模型的训练而言，规模仍显不足，需通过后续的RLAIF-V等开源模型自动反馈方法进行扩展；三是标注一致性保障，不同标注者对“错误”的界定存在主观差异，需设计严格的标注协议来确保修正的准确性与可靠性。

常用场景

经典使用场景

RLHF-V-Dataset 作为细粒度人类偏好数据集，经典应用场景在于训练多模态大语言模型（MLLMs）的行为对齐能力。该数据集包含5,733对偏好样本，每对样本均提供细粒度的片段级人工修正，覆盖详细描述与问答指令等多样化任务。研究者通常将其与基于人类反馈的强化学习（RLHF）框架结合，通过对比模型生成结果与人工修正之间的差异，引导模型学习更可靠的行为模式，从而显著降低幻觉现象，同时保持信息丰富性。该数据集为MLLMs的信任度提升提供了关键训练资源。

解决学术问题

RLHF-V-Dataset 旨在解决多模态大语言模型普遍存在的幻觉问题与行为不可控困境。传统方法依赖粗粒度奖励信号，难以精准纠正模型在细粒度视觉语义上的偏差。该数据集通过提供片段级人工修正，使模型能够学习区分正确与错误细节，将幻觉率降低34.8%而不牺牲信息密度。其意义在于首次将行为对齐从文本领域扩展到多模态场景，为构建值得信赖的视觉语言模型奠定了方法论与数据基础，推动了可信人工智能在视觉理解中的发展。

实际应用

在实际应用中，RLHF-V-Dataset 可助力开发更可靠的视觉问答系统与图像描述工具，例如智能客服、辅助视障人士的场景理解以及自动驾驶中的视觉解释模块。通过训练模型优先采纳人类修正后的正确细节，这些系统能有效减少误判与误导性输出，提升用户信任度。该数据集已被用于MiniCPM-V 2.0等端侧模型，在资源受限设备上实现接近GPT-4V的可靠性，展现出在医疗影像分析、教育辅助等高风险领域的应用潜力。

数据集最近研究

最新研究方向

在大型多模态语言模型（MLLMs）的可信度提升与行为对齐领域，RLHF-V-Dataset 引领了基于细粒度人类修正反馈的前沿探索。该数据集通过收集涵盖详细描述与问答指令的5,733个偏好对，实现了对模型幻觉的显著抑制（降幅达34.8%），同时保持了信息丰富度。近期研究进一步延伸至RLAIF-V框架，利用开源模型构建大规模、多任务的反馈数据集，推动对齐技术从人工监督向自动反馈演进。这一方向与MiniCPM-V 2.0等端侧模型的实际部署紧密关联，其成果已在可信度评估上接近GPT-4V水平，为构建更可靠、更透明的视觉语言系统奠定了关键数据与算法基础。