usvsnsp/generation-num-duplicates

--- dataset_info: features: - name: sequence_id dtype: uint32 - name: counts dtype: uint32 splits: - name: duped num_bytes: 1171456000 num_examples: 146432000 - name: deduped num_bytes: 1171456000 num_examples: 146432000 download_size: 1915148851 dataset_size: 2342912000 configs: - config_name: default data_files: - split: duped path: data/duped-* - split: deduped path: data/deduped-* ---### 数据集信息 #### 数据特征 1. 序列ID（sequence_id）：数据类型为无符号32位整型（uint32） 2. 计数（counts）：数据类型为无符号32位整型（uint32） #### 数据集划分 1. 含重复样本划分（duped）：字节占用量为1171456000，样本数量为146432000 2. 去重后样本划分（deduped）：字节占用量为1171456000，样本数量为146432000 #### 核心参数 下载大小：1915148851 数据集总占用大小：2342912000 #### 数据集配置 - 配置名称：默认配置（default） 数据文件映射： - 含重复样本划分（duped）对应数据路径：`data/duped-*` - 去重后样本划分（deduped）对应数据路径：`data/deduped-*`

原始信息汇总

数据集信息

特征

• sequence_id: 数据类型为 uint32
• counts: 数据类型为 uint32

数据分割

• duped:
  • 字节数: 1171456000
  • 样本数: 146432000
• deduped:
  • 字节数: 1171456000
  • 样本数: 146432000

数据大小

• 下载大小: 1915148851 字节
• 数据集大小: 2342912000 字节

配置

• default:
  • 数据文件:
    • duped: data/duped-*
    • deduped: data/deduped-*