adams-story/dfn-200m

该数据集是从Data Filtering Networks论文中发布的，是Datacomp large的一个子集。数据集包含经过过滤的parquet文件，过滤过程使用了特定的Python脚本。

原始信息汇总

数据集概述

数据集名称

• Data filtering networks, 200m

数据集描述

• 该数据集是从Data Filtering Networks论文中发布的，包含Datacomp large的一个子集。

数据集类型

• parquet文件

数据集任务类别

• image-to-text
• text-to-image

数据集规模

• 100M<n<1B

数据集处理脚本

• 使用Python脚本对parquet文件进行过滤，脚本中使用了numpy、pyarrow.parquet和multiprocessing模块。
• 通过加载预定义的subset文件（datacomp_large_dfn_200m_inds.npy）来确定数据过滤的索引。
• 使用多进程处理对所有parquet文件进行过滤，并将过滤后的数据写入到resampled目录下。