Hack90/virus_bert_chunk_2kbp_tokenized

---
dataset_info:
features:
- name: id
dtype: string
- name: name
dtype: string
- name: text
dtype: string
- name: chunk_length
dtype: int64
- name: __index_level_0__
dtype: int64
- name: input_ids
sequence: int32
splits:
- name: train
num_bytes: 8042952301
num_examples: 2073992
- name: test
num_bytes: 1004834600
num_examples: 259249
- name: valid
num_bytes: 1004737573
num_examples: 259249
download_size: 4115660384
dataset_size: 10052524474
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
- split: valid
path: data/valid-*
---

原始信息汇总

数据集概述

特征信息

• id: 字符串类型
• name: 字符串类型
• text: 字符串类型
• chunk_length: 64位整数类型
• index_level_0: 64位整数类型
• input_ids: 32位整数序列类型

数据分割

• train:
  • 字节数: 8042952301
  • 样本数: 2073992
• test:
  • 字节数: 1004834600
  • 样本数: 259249
• valid:
  • 字节数: 1004737573
  • 样本数: 259249

数据大小

• 下载大小: 4115660384 字节
• 数据集大小: 10052524474 字节

配置信息

• config_name: default
  • data_files:
    • train: data/train-*
    • test: data/test-*
    • valid: data/valid-*