darshanmakwana/conceptual_captions_tokenized

该数据集包含多个特征，包括索引（idx）、图片URL（img_url）、图片标记（image_tokens）、标题（caption）、清洁标题（clean_caption）、输入ID（input_ids）和注意力掩码（attention_mask）。数据集分为一个训练集，包含527,187个示例，总大小为944,695,861字节。下载大小为174,001,714字节。数据文件位于data/train-*路径下。

The dataset contains multiple features including index (idx), image URL (img_url), image tokens (image_tokens), caption, clean caption (clean_caption), input IDs (input_ids), and attention mask (attention_mask). The dataset is divided into a training set containing 527,187 examples with a total size of 944,695,861 bytes. The download size is 174,001,714 bytes. The data files are located under the path data/train-*.

原始信息汇总

数据集概述

数据集特征

• idx: 整数类型
• img_url: 字符串类型
• image_tokens: 整数序列类型
• caption: 字符串类型
• clean_caption: 字符串类型
• input_ids: 整数序列类型
• attention_mask: 整数序列类型

数据集分割

• train:
  • 样本数量: 527187
  • 数据大小: 944695861 字节

数据集配置

• config_name: default
  • data_files:
    • split: train
    • path: data/train-*

数据集大小

• download_size: 174001714 字节
• dataset_size: 944695861 字节