graph-based-captions/GBC1M

GBC1M数据集基于CC12M的原始图像构建，采用了一种新的图像标注范式——基于图的标注（GBC），该范式结合了长标注、区域标注和场景图的优势。数据集提供了图像URL和标注信息，所有数据以JSON lines格式存储。每个样本是一个`GbcGraph`，包含图像URL、原始标注和顶点列表，每个顶点包含边界框信息、标签和描述列表。数据集统计信息包括图像数量、每个图像的平均顶点数、边数、标注数和单词数，以及平均图直径。数据集可以通过HuggingFace的`datasets`库直接加载。

原始信息汇总

GBC1M 数据集概述

数据集基本信息

• 许可证: CC BY-NC 4.0
• 任务类别:
  • 图像到文本
  • 文本到图像
• 语言: 英语
• 数据集大小: 1M<n<10M
• 标签:
  • 视觉语言预训练
  • 图像描述
  • 牛角面包

数据集描述

• 数据集名称: GBC1M
• 数据来源: 从CC12M中的原始图像构建
• 数据格式: JSON lines
• 数据结构:
  • GbcGraph: 包含图像URL、原始描述和顶点列表
  • GbcVertex: 包含顶点ID、边界框、标签、描述列表、入边和出边
  • GbcEdge: 包含源顶点ID、文本和目标顶点ID
  • Description: 包含文本和标签
  • Bbox: 包含边界框的相对位置和置信度

数据集统计信息

• 图像数量: 1,013,592
• 每张图像的顶点数: 12.12
• 每张图像的边数: 22.28
• 每张图像的描述数: 17.40
• 每张图像的单词数: 593.14
• 平均图直径: 4.55

数据集使用

• 加载方式: 可通过HuggingFace datasets库直接加载

• 示例代码: python from datasets import load_dataset

  gbc_graphs = [] ds = load_dataset("graph-based-captions/GBC1M")

  for record in ds: gbc_graphs.append(GbcGraph.model_validate(record))

数据集构建

• 构建方法: 设计了自动生成GBC注释的程序

许可证

• 合成注释: CC BY-NC 4.0
• 原始图像URL-文本样本: Google发布的特定许可证
• 单个图像: 各自版权

引用

@article{GBC2024, title={Graph-Based Captioning: Enhancing Visual Descriptions by Interconnecting Region Captions}, author={Yu-Guan Hsieh and Cheng-Yu Hsieh and Shih-Ying Yeh and Louis Béthune and Hadi Pouransari and Pavan Kumar Anasosalu Vasu and Chun-Liang Li and Ranjay Krishna and Oncel Tuzel and Marco Cuturi}, journal={arXiv preprint arXiv:2407.06723}, year={2024} }