damerajee/tokenized_long_context_hin

---
dataset_info:
features:
- name: doc_id
dtype: string
- name: type
dtype: string
- name: text
dtype: string
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
splits:
- name: train
num_bytes: 2731009
num_examples: 62
download_size: 988704
dataset_size: 2731009
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

原始信息汇总

数据集概述

数据集特征

• doc_id: 数据类型为字符串。
• type: 数据类型为字符串。
• text: 数据类型为字符串。
• input_ids: 数据类型为整数序列，类型为int32。
• attention_mask: 数据类型为整数序列，类型为int8。

数据集分割

• train:
  • 字节数: 2731009
  • 示例数: 62

数据集大小

• 下载大小: 988704
• 数据集总大小: 2731009

配置

• config_name: default
  • data_files:
    • split: train
      • path: data/train-*