HuggingFaceM4/cm4-synthetic-testing

该数据集设计用于测试多模态文本/图像模型，来源于cm4-10k数据集。包含多个分割，如100.unique, 100.repeat, 300.unique, 300.repeat, 1k.unique, 1k.repeat, 10k.unique, 10k.repeat。其中，unique分割确保文本条目的唯一性，而repeat分割则重复相同的10条唯一记录，用于调试内存泄漏问题。默认分割为100.unique。数据集的创建过程记录在cm4-synthetic-testing.py文件中。

原始信息汇总

数据集概述

数据集用途

• 用于测试多模态文本/图像模型。

数据集来源

• 衍生自cm4-10k数据集。

数据集分割

• 当前分割包括：[100.unique, 100.repeat, 300.unique, 300.repeat, 1k.unique, 1k.repeat, 10k.unique, 10k.repeat]。
• unique分割确保文本条目的唯一性。
• repeat分割重复相同的10条记录，用于调试内存泄漏，因为记录始终相同，排除了记录变量的影响。

默认分割

• 默认分割为100.unique。

数据集创建过程

• 数据集的完整创建过程记录在cm4-synthetic-testing.py文件中。