stas/general-pmd-synthetic-testing

该数据集设计用于测试，源自general-pmd/localized_narratives__ADE20k数据集。数据集的划分包括100.unique, 100.repeat, 300.unique, 300.repeat, 1k.unique, 1k.repeat, 10k.unique, 10k.repeat等。unique划分确保文本条目的唯一性，而repeat划分则重复相同的10条唯一记录，这对于调试内存泄漏非常有用，因为记录始终相同，从而消除了记录变化的影响。默认的划分是100.unique。数据集的创建过程，包括用于构建它的记录，都在general-pmd-synthetic-testing.py文件中进行了记录。

原始信息汇总

数据集概述

数据集来源

• 该数据集源自 general-pmd/localized_narratives__ADE20k 数据集。

数据集用途

• 设计用于测试。

数据集结构

• 当前数据集分为多个子集，包括：
  • [100.unique, 100.repeat, 300.unique, 300.repeat, 1k.unique, 1k.repeat, 10k.unique, 10k.repeat]
• unique 子集确保 text 条目的唯一性。
• repeat 子集重复相同的10条记录，用于调试内存泄漏，因为记录始终相同，排除了记录变异的因素。

默认子集

• 默认子集为 100.unique。

数据集创建过程

• 数据集的完整创建过程，包括使用的记录，详细记录在 general-pmd-synthetic-testing.py 文件中。

搜集汇总

背景与挑战

背景概述

该数据集是一个用于测试的合成数据集，源自'general-pmd/localized_narratives__ADE20k'。它包含多个分割，如'unique'和'repeat'，其中'unique'确保文本条目唯一性，而'repeat'重复相同记录以辅助内存泄漏调试，默认分割为'100.unique'。