stas/general-pmd-synthetic-testing

该数据集设计用于测试，源自general-pmd/localized_narratives__ADE20k数据集。数据集的划分包括100.unique, 100.repeat, 300.unique, 300.repeat, 1k.unique, 1k.repeat, 10k.unique, 10k.repeat等。unique划分确保文本条目的唯一性，而repeat划分则重复相同的10条唯一记录，这对于调试内存泄漏非常有用，因为记录始终相同，从而消除了记录变化的影响。默认的划分是100.unique。数据集的创建过程，包括用于构建它的记录，都在general-pmd-synthetic-testing.py文件中进行了记录。

This dataset is designed for testing purposes, derived from the general-pmd/localized_narratives__ADE20k dataset. Its splits include 100.unique, 100.repeat, 300.unique, 300.repeat, 1k.unique, 1k.repeat, 10k.unique, 10k.repeat, etc. The 'unique' splits ensure the uniqueness of text entries, while the 'repeat' splits duplicate the same 10 unique records, which is highly useful for debugging memory leaks, as the records remain consistent, eliminating the impact of varying entries. The default split is 100.unique. The dataset's creation process, including the records used to construct it, is documented in the general-pmd-synthetic-testing.py file.

原始信息汇总

数据集概述

数据集来源

• 该数据集源自 general-pmd/localized_narratives__ADE20k 数据集。

数据集用途

• 设计用于测试。

数据集结构

• 当前数据集分为多个子集，包括：
  • [100.unique, 100.repeat, 300.unique, 300.repeat, 1k.unique, 1k.repeat, 10k.unique, 10k.repeat]
• unique 子集确保 text 条目的唯一性。
• repeat 子集重复相同的10条记录，用于调试内存泄漏，因为记录始终相同，排除了记录变异的因素。

默认子集

• 默认子集为 100.unique。

数据集创建过程

• 数据集的完整创建过程，包括使用的记录，详细记录在 general-pmd-synthetic-testing.py 文件中。

搜集汇总

背景与挑战

背景概述

该数据集是一个用于测试的合成数据集，源自'general-pmd/localized_narratives__ADE20k'。它包含多个分割，如'unique'和'repeat'，其中'unique'确保文本条目唯一性，而'repeat'重复相同记录以辅助内存泄漏调试，默认分割为'100.unique'。