mor40/oscar-tokenized
收藏官方服务：
资源简介：
--- configs: - config_name: default data_files: - split: train path: data/train-* dataset_info: features: - name: input_ids sequence: int32 - name: attention_mask sequence: int8 - name: word_ids sequence: int64 - name: labels sequence: int64 splits: - name: train num_bytes: 12617925936 num_examples: 2326361 download_size: 3746262218 dataset_size: 12617925936 --- # Dataset Card for "oscar-tokenized" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)
提供机构：
mor40原始信息汇总
数据集概述
配置信息
- 默认配置 (
config_name: default)- 数据文件
- 训练集 (
split: train)- 路径：
data/train-*
- 路径：
- 训练集 (
- 数据文件
数据集特征
- 输入ID (
input_ids)- 数据类型：
sequence(int32)
- 数据类型：
- 注意力掩码 (
attention_mask)- 数据类型：
sequence(int8)
- 数据类型：
- 词ID (
word_ids)- 数据类型：
sequence(int64)
- 数据类型：
- 标签 (
labels)- 数据类型：
sequence(int64)
- 数据类型：
数据集划分
- 训练集 (
name: train)- 数据大小：12617925936 字节
- 样本数量：2326361
数据集大小
- 下载大小：3746262218 字节
- 总数据大小：12617925936 字节
