graph-based-captions/GBC10M

GBC10M数据集基于CC12M的原始图像构建，采用图结构（GBC）进行图像标注，结合了长描述、区域描述和场景图的优势。数据集提供了图像URL和标注信息，存储为JSON lines格式。每个样本包含图像URL、原始描述和顶点信息，顶点信息包括边界框、标签和描述等。数据集统计信息显示，包含超过1000万张图像，每张图像平均有12.24个顶点、21.81条边和17.67个描述。数据集使用CC BY-NC 4.0许可证，并提供了加载和使用数据集的代码示例。

The GBC10M dataset is built upon raw images sourced from CC12M. It employs graph structure (GBC) for image annotation, integrating the strengths of long-form descriptions, region-level descriptions and scene graphs. The dataset provides image URLs and annotation information, stored in JSON Lines format. Each sample consists of an image URL, raw description and vertex information, where the vertex information includes bounding boxes, labels, descriptions and other relevant details. Dataset statistics indicate that it contains over 10 million images, with an average of 12.24 vertices, 21.81 edges and 17.67 descriptions per image. The dataset is licensed under CC BY-NC 4.0, and code examples for loading and utilizing the dataset are provided.

原始信息汇总

GBC10M 数据集概述

数据集基本信息

• 任务类别:
  • 图像到文本
  • 文本到图像
• 语言:
  • 英语
• 数据集大小:
  • 10M<n<100M
• 标签:
  • 视觉语言预训练
  • 图像描述
  • 牛角面包

数据集描述

• 数据集名称: GBC10M
• 数据来源: 从CC12M原始图像中派生
• 数据格式: JSON lines
• 数据结构:
  • GbcGraph包含图像URL、原始描述和顶点列表
  • GbcVertex包含顶点ID、边界框、标签、描述和边
  • GbcEdge包含源顶点ID、文本和目标顶点ID
  • Description包含文本和标签
  • Bbox包含边界框的相对位置和置信度

数据集统计信息

• 图像数量: 10,138,757
• 每张图像的顶点数: 12.24
• 每张图像的边数: 21.81
• 每张图像的描述数: 17.67
• 每张图像的单词数: 533.98
• 平均图直径: 4.41

数据集使用

• 加载方式: 使用HuggingFace datasets库直接加载

• 示例代码: python from datasets import load_dataset

  gbc_graphs = [] ds = load_dataset("graph-based-captions/GBC10M", split="test")

  for record in ds: gbc_graphs.append(GbcGraph.model_validate(record))

数据集构建

• 构建方法: 自动生成GBC注释

许可证

• 额外注释: Apple Sample Code License
• 原始图像: Google特定许可证
• 单个图像: 各自的版权

引用

@misc{GBC2024, title={Graph-Based Captioning: Enhancing Visual Descriptions by Interconnecting Region Captions}, author={Yu-Guan Hsieh and Cheng-Yu Hsieh and Shih-Ying Yeh and Louis Béthune and Hadi Pouransari and Pavan Kumar Anasosalu Vasu and Chun-Liang Li and Ranjay Krishna and Oncel Tuzel and Marco Cuturi}, url={https://huggingface.co/graph-based-captions}, year={2024} }