mor40/oscar-tokenized
收藏Hugging Face2023-08-05 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/mor40/oscar-tokenized
下载链接
链接失效反馈官方服务：
资源简介：
---
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
dataset_info:
features:
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
- name: word_ids
sequence: int64
- name: labels
sequence: int64
splits:
- name: train
num_bytes: 12617925936
num_examples: 2326361
download_size: 3746262218
dataset_size: 12617925936
---
# Dataset Card for "oscar-tokenized"
[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)
提供机构：
mor40
原始信息汇总
数据集概述
配置信息
- 默认配置 (
config_name: default)- 数据文件
- 训练集 (
split: train)- 路径：
data/train-*
- 路径：
- 训练集 (
- 数据文件
数据集特征
- 输入ID (
input_ids)- 数据类型：
sequence(int32)
- 数据类型：
- 注意力掩码 (
attention_mask)- 数据类型：
sequence(int8)
- 数据类型：
- 词ID (
word_ids)- 数据类型：
sequence(int64)
- 数据类型：
- 标签 (
labels)- 数据类型：
sequence(int64)
- 数据类型：
数据集划分
- 训练集 (
name: train)- 数据大小：12617925936 字节
- 样本数量：2326361
数据集大小
- 下载大小：3746262218 字节
- 总数据大小：12617925936 字节
