graph-based-captions/GBC10M

GBC10M数据集基于CC12M的原始图像构建，采用图结构（GBC）进行图像标注，结合了长描述、区域描述和场景图的优势。数据集提供了图像URL和标注信息，存储为JSON lines格式。每个样本包含图像URL、原始描述和顶点信息，顶点信息包括边界框、标签和描述等。数据集统计信息显示，包含超过1000万张图像，每张图像平均有12.24个顶点、21.81条边和17.67个描述。数据集使用CC BY-NC 4.0许可证，并提供了加载和使用数据集的代码示例。

原始信息汇总

GBC10M 数据集概述

数据集基本信息

• 任务类别:
  • 图像到文本
  • 文本到图像
• 语言:
  • 英语
• 数据集大小:
  • 10M<n<100M
• 标签:
  • 视觉语言预训练
  • 图像描述
  • 牛角面包

数据集描述

• 数据集名称: GBC10M
• 数据来源: 从CC12M原始图像中派生
• 数据格式: JSON lines
• 数据结构:
  • GbcGraph包含图像URL、原始描述和顶点列表
  • GbcVertex包含顶点ID、边界框、标签、描述和边
  • GbcEdge包含源顶点ID、文本和目标顶点ID
  • Description包含文本和标签
  • Bbox包含边界框的相对位置和置信度

数据集统计信息

• 图像数量: 10,138,757
• 每张图像的顶点数: 12.24
• 每张图像的边数: 21.81
• 每张图像的描述数: 17.67
• 每张图像的单词数: 533.98
• 平均图直径: 4.41

数据集使用

• 加载方式: 使用HuggingFace datasets库直接加载

• 示例代码: python from datasets import load_dataset

  gbc_graphs = [] ds = load_dataset("graph-based-captions/GBC10M", split="test")

  for record in ds: gbc_graphs.append(GbcGraph.model_validate(record))

数据集构建

• 构建方法: 自动生成GBC注释

许可证

• 额外注释: Apple Sample Code License
• 原始图像: Google特定许可证
• 单个图像: 各自的版权

引用

@misc{GBC2024, title={Graph-Based Captioning: Enhancing Visual Descriptions by Interconnecting Region Captions}, author={Yu-Guan Hsieh and Cheng-Yu Hsieh and Shih-Ying Yeh and Louis Béthune and Hadi Pouransari and Pavan Kumar Anasosalu Vasu and Chun-Liang Li and Ranjay Krishna and Oncel Tuzel and Marco Cuturi}, url={https://huggingface.co/graph-based-captions}, year={2024} }