OmniAlign-V SFT Dataset, OmniAlign-V-DPO Dataset, MM-AlignBench
收藏资源简介：
OmniAlign-V SFT数据集：用于提高多模态大型语言模型（MLLMs）与人类偏好对齐的SFT数据集，包含205k高质量图像-问题-答案对，具有开放式、创造性问题和长篇、知识丰富、全面的答案。OmniAlign-V-DPO数据集：为直接偏好优化（DPO）设计的专用数据集，利用OmniAlign-V SFT数据集中的答案作为正样本，并使用LLaVANext-InternLM-7B进行拒绝抽样生成负样本。MM-AlignBench基准：用于评估MLLMs与人类偏好对齐的基准，包括252个高质量、人工注释的样本，具有多种图像类型和开放式问题。
OmniAlign-V SFT Dataset: A supervised fine-tuning (SFT) dataset designed to enhance the alignment between multimodal large language models (MLLMs) and human preferences, comprising 205,000 high-quality image-question-answer triplets with open-ended, creative questions and long, knowledge-rich, comprehensive answers. OmniAlign-V-DPO Dataset: A dedicated dataset developed for Direct Preference Optimization (DPO), which uses the answers from the OmniAlign-V SFT dataset as positive samples and generates negative samples via rejection sampling with LLaVANext-InternLM-7B. MM-AlignBench: A benchmark for evaluating the alignment between MLLMs and human preferences, consisting of 252 high-quality, manually annotated samples covering diverse image types and open-ended questions.
OmniAlign-V 数据集概述
数据集简介
OmniAlign-V 是一个旨在提高多模态大型语言模型（MLLMs）与人类偏好对齐的数据集。该数据集包含三个关键贡献：OmniAlign-V SFT 数据集、OmniAlign-V-DPO 数据集和 MM-AlignBench。
OmniAlign-V SFT 数据集
- 类型：SFT 数据集
- 内容：包含 205k 高质量图像-问题-答案对，特点是开放式的、创造性的问题和长篇的、知识丰富的、全面的答案。
OmniAlign-V-DPO 数据集
- 类型：专门用于直接偏好优化（DPO）的数据集
- 内容：利用 OmniAlign-V SFT 数据集中的答案作为正样本，并使用 LLaVANext-InternLM-7B 通过拒绝采样生成负样本。
MM-AlignBench
- 类型：用于评估 MLLMs 与人类偏好对齐的基准测试
- 内容：包含 252 个高质量、人工标注的样本，具有多种图像类型和开放式问题。
数据集性能
OmniAlign-V SFT 数据集不仅显著提高了 MLLMs 与人类偏好的对齐，还提升了 MLLMs 在常见下游任务上的性能，特别是在 MMVet 和 MMMU 基准测试上。
使用说明
环境安装
- 推荐使用 Python-3.10 的 conda 虚拟环境
- 安装 XTuner 从源代码
数据准备
- 预训练数据：使用 ALLaVA-pretrain 和 LLaVA-pretrain-558k
- SFT 数据：使用 LLaVA-Next-SFT-778K 和 OmniAlign-V-SFT 数据集
- DPO：仅使用 OmniAlign-V-DPO 数据集
模型权重
- 模型权重可在 HuggingFace ModelZoo 中获取
训练与评估
- 支持在一个命令中完成训练和评估
引用
在使用 OmniAlign-V 数据集时，请使用以下 BibTeX 引用：
bibtex @article{zhao2025omnialignvenhancedalignmentmllms, title={OmniAlign-V: Towards Enhanced Alignment of MLLMs with Human Preference}, author={Xiangyu Zhao and Shengyuan Ding and Zicheng Zhang and Haian Huang and Maosong Cao and Weiyun Wang and Jiaqi Wang and Xinyu Fang and Wenhai Wang and Guangtao Zhai and Haodong Duan and Hua Yang and Kai Chen}, journal={arXiv preprint arXiv:2502.18411}, year={2024} }
