stas/cm4-synthetic-testing

该数据集设计用于测试多模态文本/图像模型，来源于cm4-10k数据集。提供了多个分割版本，包括`unique`和`repeat`两种类型。`unique`分割确保文本条目的唯一性，而`repeat`分割则重复相同的10条唯一记录，用于调试内存泄漏问题。默认分割为`100.unique`。数据集的创建过程记录在cm4-synthetic-testing.py文件中。

原始信息汇总

数据集概述

数据集用途

本数据集专为测试多模态文本/图像模型设计，源自cm4-10k数据集。

数据集分割

数据集当前分割包括：

• 100.unique
• 100.repeat
• 300.unique
• 300.repeat
• 1k.unique
• 1k.repeat
• 10k.unique
• 10k.repeat

其中：

• unique分割确保文本条目的唯一性。
• repeat分割重复相同的10条记录，用于内存泄漏调试，因为记录始终相同，从而排除了记录变量的影响。

默认分割

默认分割为100.unique。

数据集创建过程

数据集的完整创建过程，包括使用的记录，详细记录在cm4-synthetic-testing.py文件中。