Infinity-MM|多模态数据数据集|模型训练数据集

Infinity-MM 是一个大规模的多模态指令数据集，包含数千万个样本。通过质量过滤和去重，数据集具有高质量和多样性。数据集分为四个阶段，每个阶段包含不同类型的数据，如图像-字幕数据、通用视觉指令数据、选择性视觉指令数据和 GPT4 与合成数据。数据集的语言包括英语和中文，并且来自多个平台。数据集与 Aquila-VL-2B 模型一起使用，该模型在相同规模的模型中达到了最先进的性能。

原始信息汇总

Infinity-MM 数据集概述

数据集简介

Infinity-MM 是一个大规模的多模态指令数据集，包含数千万个样本。通过质量过滤和去重，数据集具有高质量和多样性。数据集通过开源模型和标注系统生成合成数据，使用详细的图像标注和多样的问题生成。

数据集更新

• 2024/10/24: Stage 2、Stage 3 和 Stage 4 的数据已转移，Stage 1 的数据将于 2024/11/1 完成传输。

数据集分类

数据阶段	数据类别	数据量	数据组成
Stage 1	图像-标题数据	10M	标题数据 10M
Stage 2	通用视觉指令数据	24.4M	通用数据 7.1M, 通用OCR数据 2.6M, 文档/图表/屏幕数据 5.8M, 数学/推理数据 1.3M, 文本指令数据 7.6M
Stage 3	选择性视觉指令数据	6M	LLaVA-onevision 数据 3.5M, Infinity-Instruct 1.3M, Docmatix 数据 1.2M
Stage 4	GPT4 & 合成数据	3M	GPT4 生成数据 1.7M, 合成数据 0.8M, 特定任务数据 0.4M, Infinity-Preference 数据 0.1M

数据格式示例

json { "id": "10", "source": "llava", "conversations": [ { "from": "human", "value": "<image> Can you create a descriptive poem about the scene?" }, { "from": "gpt", "value": "Upon a plate of verdant hue, A cluster of roasted nuts we view. Cashews golden, shining bright, Almonds dark, a roasted delight. Sprinkled seeds of sesame light, Enhancing flavors, a gentle bite. On white wood they rest in grace, A rustic charm, a peaceful place. Simple joys in a vibrant array, A perfect treat to start the day." } ], "image": "/path/of/the/image", "ram++_tags": ["wall", "dry", "grassy", "hill", "stone", "sun", "sunset"], "ram++_tags_score": [9.56411075592041, 2.3733813762664795, 1.4329272508621216, 1.9840935468673706, 1.9766467809677124, 2.255882501602173, 2.575751781463623], "phash": [12512305226191801180], "qw2vl_loss": 3.0559005737304688 }

数据字段解释

• id: 记录的ID。
• source: 记录的来源。
• conversations: 记录的对话内容。
• image: 图像的绝对路径。
• ram++_tags & ram++_tags_score: 由 Ram++ 模型生成的图像标签及其分数。
• phash: 图像的phash值。
• qw2vl_loss: 由 Qwen2-VL-2B 模型计算的值。

数据来源

数据来源	数据量
Emu2	10M
LVIS-Instruct	223K
LLaVA-CC3M-Pretrain-595K	595K
Visdial	116K
Sharegpt4	3.2M
STVQA	43K
MMC-INST	500K
MathV360K	338K
MMC-Alignment	250K
DocReason	26K
ALLaVA	1.7M
Cocotext	163K
Docvqa	16K
Geoqa+	72K
DocDownstream	700K
Cambrian	8.3M
DocStruct4M	4M
LLaVA-onevision	4M
Docmatix	1.2M
Infinity-Instruct	7M
合成数据	0.8M

引用

如果该数据集对您的研究有帮助，请引用以下工作：

@misc{gu2024infinitymmscalingmultimodalperformance, title={Infinity-MM: Scaling Multimodal Performance with Large-Scale and High-Quality Instruction Data}, author={Shuhao Gu and Jialing Zhang and Siyuan Zhou and Kevin Yu and Zhaohu Xing and Liangdong Wang and Zhou Cao and Jintao Jia and Zhuoyi Zhang and Yixuan Wang and Zhenchong Hu and Bo-Wen Zhang and Jijie Li and Dong Liang and Yingli Zhao and Yulong Ao and Yaoqi Liu and Fangxiang Feng and Guang Liu}, year={2024}, eprint={2410.18558}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2410.18558}, }

AI搜集汇总

数据集介绍

构建方式

Infinity-MM数据集的构建过程体现了多模态数据融合的前沿理念。该数据集通过整合来自不同来源的文本、图像和视频数据，采用先进的预处理技术，确保数据的一致性和高质量。构建过程中，研究人员精心设计了数据采集和标注流程，利用自动化工具与人工审核相结合的方式，确保数据的多样性和代表性。数据集涵盖了广泛的主题和场景，旨在为多模态学习提供丰富的训练资源。

使用方法

Infinity-MM数据集的使用方法灵活多样，适用于多种多模态学习任务。研究者可以通过加载数据集中的文本、图像和视频数据，进行跨模态特征提取和融合实验。数据集提供了详细的文档和示例代码，帮助用户快速上手。用户可以根据具体需求，选择不同的数据子集进行训练和测试，探索多模态学习模型在不同场景下的表现。

背景与挑战

背景概述

Infinity-MM数据集是近年来在多模态学习领域涌现的重要资源之一，旨在推动文本与图像之间的跨模态理解与生成研究。该数据集由一支国际化的研究团队于2022年创建，主要成员来自顶尖学术机构与科技公司。其核心研究问题聚焦于如何通过大规模多模态数据训练模型，实现更高效的跨模态对齐与语义理解。Infinity-MM的发布为多模态预训练模型的发展提供了丰富的数据支持，显著提升了相关领域的研究水平，尤其在图像描述生成、视觉问答等任务中展现了广泛的应用潜力。

当前挑战

Infinity-MM数据集在解决多模态对齐与语义理解问题时面临诸多挑战。首先，跨模态数据的异构性使得文本与图像之间的语义对齐变得复杂，模型需要具备强大的特征提取与融合能力。其次，数据集中存在大量噪声与标注不一致问题，这对模型的鲁棒性提出了更高要求。在构建过程中，研究人员还需克服数据采集与标注的高成本问题，确保数据规模与质量的平衡。此外，如何设计高效的评估指标以准确衡量模型的跨模态理解能力，也是该领域亟待解决的难题。

常用场景

经典使用场景

Infinity-MM数据集在多媒体内容分析领域具有广泛的应用，特别是在跨模态信息检索和多媒体内容理解方面。该数据集通过整合图像、文本和音频等多种模态数据，为研究者提供了一个丰富的实验平台，用于开发和测试跨模态检索算法。其多模态特性使得研究者能够在同一框架下处理和分析不同类型的数据，从而提升模型的泛化能力和鲁棒性。

解决学术问题

Infinity-MM数据集有效解决了跨模态信息检索中的关键问题，如模态间的语义鸿沟和异构数据的对齐问题。通过提供大规模的多模态数据，该数据集为研究者提供了验证和优化跨模态检索算法的实验基础，推动了跨模态信息检索技术的发展。其丰富的标注信息和多样化的数据来源，使得研究者能够深入探索多模态数据的潜在关联，从而提升检索精度和效率。

实际应用

在实际应用中，Infinity-MM数据集被广泛应用于智能推荐系统、多媒体内容管理和人机交互等领域。例如，在智能推荐系统中，该数据集可以帮助系统更好地理解用户的多模态输入，从而提供更加精准的推荐结果。在多媒体内容管理方面，该数据集可以用于自动标注和分类多媒体内容，提高内容管理的效率和准确性。在人机交互领域，该数据集可以用于开发更加智能和自然的交互系统，提升用户体验。

数据集最近研究

最新研究方向

在多媒体内容分析领域，Infinity-MM数据集因其丰富的多模态数据而备受关注。该数据集整合了文本、图像、音频和视频等多种数据类型，为研究者提供了一个全面的多模态分析平台。近年来，随着深度学习技术的飞速发展，多模态融合模型成为研究热点。Infinity-MM数据集在跨模态检索、多模态情感分析和多模态生成任务中展现了其独特优势。特别是在跨模态检索方面，研究者们通过该数据集探索了如何更有效地将不同模态的信息进行对齐和融合，以提升检索精度和效率。此外，多模态情感分析任务中，Infinity-MM数据集为情感识别和情感生成提供了丰富的训练样本，推动了情感计算领域的发展。多模态生成任务中，该数据集为生成模型提供了多样化的输入，促进了生成内容的质量和多样性提升。Infinity-MM数据集的广泛应用不仅推动了多模态研究的深入，也为实际应用场景如智能推荐、虚拟助手和内容创作等提供了有力支持。