LAION-SG 大规模高质量图像理解数据集

LAION-SG 是一个大规模高质量图像理解数据集，由浙江大学、江南大学、北京大学、阿里巴巴集团和蚂蚁集团于 2024 年构建，相关论文成果为「LAION-SG: An Enhanced Large-Scale Dataset for Training Complex Image-Text Models with Structural Annotations」。 LAION-SG 包含 540,005 个带有对象、属性和关系注释的场景图-图像对，这些数据被分为训练集、验证集和测试集。数据集的图像来源于 LAION-Aesthetics V2 (6.5+) 数据集，注释过程使用了 GPT-4o 进行自动化注释。

LAION-SG is a large-scale, high-quality image understanding dataset constructed in 2024 by Zhejiang University, Jiangnan University, Peking University, Alibaba Group and Ant Group. Its corresponding peer-reviewed paper is titled "LAION-SG: An Enhanced Large-Scale Dataset for Training Complex Image-Text Models with Structural Annotations". LAION-SG contains 540,005 scene graph-image pairs annotated with objects, attributes and relationships, which are split into training, validation and test sets. The images of this dataset are sourced from the LAION-Aesthetics V2 (6.5+) dataset, and automated annotation was performed using GPT-4o during the annotation process.

搜集汇总

背景与挑战

背景概述

LAION-SG是一个由浙江大学、江南大学、北京大学、阿里巴巴集团和蚂蚁集团于2024年构建的大规模高质量图像理解数据集，包含540,005个带有对象、属性和关系注释的场景图-图像对，注释使用GPT-4o自动化完成，图像来源于LAION-Aesthetics V2数据集。该数据集在注释长度和准确性上优于原始数据集，平均每个样本包含6.39个对象，对象信息增加20%（排除抽象专有名词后提升216%），适用于图像描述生成、视觉问答和图像检索等跨模态研究任务。