keehuachin/cleaner

---
dataset_info:
features:
- name: Input
dtype: string
- name: cleaner_text
dtype: string
- name: __index_level_0__
dtype: int64
- name: input_ids
sequence: int32
- name: labels
sequence: int64
- name: attention_mask
sequence: int8
splits:
- name: train
num_bytes: 136223322.9104233
num_examples: 8296
- name: test
num_bytes: 34072251.08957671
num_examples: 2075
download_size: 39442189
dataset_size: 170295574.0
---
# Dataset Card for "cleaner"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

---
数据集信息:
特征字段:
- 名称: 输入（Input）
数据类型: 字符串
- 名称: cleaner_text
数据类型: 字符串
- 名称: 索引列0（__index_level_0__）
数据类型: 64位整数
- 名称: 输入Token ID序列（input_ids）
数据类型: 32位整数序列
- 名称: 标签序列（labels）
数据类型: 64位整数序列
- 名称: 注意力掩码（attention_mask）
数据类型: 8位整数序列
数据集划分:
- 名称: 训练集（train）
字节数: 136223322.9104233
样本数量: 8296
- 名称: 测试集（test）
字节数: 34072251.08957671
样本数量: 2075
下载总大小: 39442189
数据集总占用大小: 170295574.0
---
# 「cleaner」数据集卡片
[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集特征

• Input: 数据类型为字符串。
• cleaner_text: 数据类型为字符串。
• index_level_0: 数据类型为整数64位。
• input_ids: 序列数据类型为整数32位。
• labels: 序列数据类型为整数64位。
• attention_mask: 序列数据类型为整数8位。

数据集分割

• 训练集:
  • 数据量: 136223322.9104233字节
  • 样本数: 8296
• 测试集:
  • 数据量: 34072251.08957671字节
  • 样本数: 2075

数据集大小

• 下载大小: 39442189字节
• 数据集总大小: 170295574.0字节