adams-story/datacomp200m

Datacomp200m是datacomp_1b数据集的一个较小版本，通过筛选自相似性（内积）大于0.32的行，得到了213009083行数据。根据datacomp论文的结果，使用CLIP分数进行筛选比随机采样更有效。数据集中包含使用autofaiss创建的文本和图像嵌入的搜索索引，并提供了两种访问元数据的方式：一种是位于`./metadata`目录中的.parquet文件，另一种是`./index/metadata.hdf5`的hdf5文件。建议使用embedding-reader来加载文本和图像嵌入。

原始信息汇总

Datacomp200m 数据集概述

数据集大小

• 总行数：213,009,083行（约2.13亿行）

数据筛选方法

• 筛选标准：自相似性（内积）高于0.32的行被保留。

元数据访问方式

• 文件格式：.parquet和.hdf5
• 存储位置：
  • .parquet 文件位于 ./metadata 目录。
  • .hdf5 文件位于 ./index/metadata.hdf5。

推荐工具

• 加载工具：建议使用 embedding-reader 加载文本和图像嵌入。