TinyPixel/rp-tok

---
dataset_info:
features:
- name: text
dtype: string
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
splits:
- name: train
num_bytes: 1930941618
num_examples: 250000
download_size: 934124792
dataset_size: 1930941618
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

原始信息汇总

数据集概述

数据集信息

• 特征:
  • text: 数据类型为字符串。
  • input_ids: 数据类型为整数序列。
  • attention_mask: 数据类型为整数序列。

数据分割

• train:
  • 样本数量: 250000
  • 字节数: 1930941618

数据集大小

• 下载大小: 934124792
• 数据集大小: 1930941618

配置

• default:
  • 数据文件:
    • train: 路径为 data/train-*