usvsnsp/generation-num-duplicates

---
dataset_info:
features:
- name: sequence_id
dtype: uint32
- name: counts
dtype: uint32
splits:
- name: duped
num_bytes: 1171456000
num_examples: 146432000
- name: deduped
num_bytes: 1171456000
num_examples: 146432000
download_size: 1915148851
dataset_size: 2342912000
configs:
- config_name: default
data_files:
- split: duped
path: data/duped-*
- split: deduped
path: data/deduped-*
---

### 数据集信息
#### 数据特征
1. 序列ID（sequence_id）：数据类型为无符号32位整型（uint32）
2. 计数（counts）：数据类型为无符号32位整型（uint32）
#### 数据集划分
1. 含重复样本划分（duped）：字节占用量为1171456000，样本数量为146432000
2. 去重后样本划分（deduped）：字节占用量为1171456000，样本数量为146432000
#### 核心参数
下载大小：1915148851
数据集总占用大小：2342912000
#### 数据集配置
- 配置名称：默认配置（default）
数据文件映射：
- 含重复样本划分（duped）对应数据路径：`data/duped-*`
- 去重后样本划分（deduped）对应数据路径：`data/deduped-*`

原始信息汇总

数据集信息

特征

• sequence_id: 数据类型为 uint32
• counts: 数据类型为 uint32

数据分割

• duped:
  • 字节数: 1171456000
  • 样本数: 146432000
• deduped:
  • 字节数: 1171456000
  • 样本数: 146432000

数据大小

• 下载大小: 1915148851 字节
• 数据集大小: 2342912000 字节

配置

• default:
  • 数据文件:
    • duped: data/duped-*
    • deduped: data/deduped-*