BigTMiami/imdb_sentiment_dataset

---
dataset_info:
features:
- name: label
dtype: int64
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
splits:
- name: train
num_bytes: 26306985
num_examples: 20000
- name: test
num_bytes: 32420025
num_examples: 25000
- name: dev
num_bytes: 6636740
num_examples: 5000
download_size: 28273093
dataset_size: 65363750
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
- split: dev
path: data/dev-*
---

数据集信息（dataset_info）：
特征项：
- 名称：标签（label），数据类型：64位整数（int64）
- 名称：输入Token（Token）ID序列（input_ids），为32位整数（int32）类型的序列
- 名称：注意力掩码（attention_mask），为8位整数（int8）类型的序列
数据集划分（splits）：
- 划分名称：训练集（train），占用字节数：26306985，样本数量：20000
- 划分名称：测试集（test），占用字节数：32420025，样本数量：25000
- 划分名称：验证集（dev），占用字节数：6636740，样本数量：5000
下载总大小：28273093
数据集总存储大小：65363750
配置项（configs）：
- 配置名称：默认配置（default），对应数据文件：
- 训练集（train）：data/train-*
- 测试集（test）：data/test-*
- 验证集（dev）：data/dev-*

原始信息汇总

数据集概述

数据集特征

• label：数据类型为 int64。
• input_ids：数据类型为 int32，具有序列性质。
• attention_mask：数据类型为 int8，具有序列性质。

数据集划分

• 训练集（train）：包含 20000 个样本，总大小为 26306985 字节。
• 测试集（test）：包含 25000 个样本，总大小为 32420025 字节。
• 验证集（dev）：包含 5000 个样本，总大小为 6636740 字节。

数据集大小

• 下载大小：28273093 字节。
• 数据集总大小：65363750 字节。

数据文件配置

• 配置名称：default
• 数据文件路径：
  • 训练集：data/train-*
  • 测试集：data/test-*
  • 验证集：data/dev-*