alessandropisent/MSMarco_tokenized
收藏Hugging Face2024-06-21 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/alessandropisent/MSMarco_tokenized
下载链接
链接失效反馈官方服务：
资源简介：
---
dataset_info:
- config_name: default
features:
- name: text_id
dtype: string
- name: text
dtype: string
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
- name: labels
sequence: int64
splits:
- name: train
num_bytes: 109346852
num_examples: 88976
- name: validation
num_bytes: 13661834
num_examples: 11123
- name: test
num_bytes: 3375767
num_examples: 1999
download_size: 25689942
dataset_size: 126384453
- config_name: flanLarge
features:
- name: text_id
dtype: string
- name: text
dtype: string
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
- name: labels
sequence: int64
splits:
- name: train
num_bytes: 109346852
num_examples: 88976
- name: validation
num_bytes: 13661834
num_examples: 11123
- name: test
num_bytes: 3375767
num_examples: 1999
download_size: 25689942
dataset_size: 126384453
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
- config_name: flanLarge
data_files:
- split: train
path: flanLarge/train-*
- split: validation
path: flanLarge/validation-*
- split: test
path: flanLarge/test-*
---
提供机构：
alessandropisent
原始信息汇总
数据集概述
特征信息
- text_id: 数据类型为字符串。
- text: 数据类型为字符串。
- input_ids: 数据类型为整数序列，元素类型为int32。
- attention_mask: 数据类型为整数序列，元素类型为int8。
- labels: 数据类型为整数序列，元素类型为int64。
数据分割
- 训练集 (train): 包含88648个样本，总字节数为289082854。
- 验证集 (validation): 包含22163个样本，总字节数为72266533。
- 测试集 (test): 包含1999个样本，总字节数为7372169。
数据集大小
- 下载大小: 31656748字节。
- 数据集总大小: 368721556字节。
配置信息
- 配置名称: default
- 数据文件路径:
- 训练集:
data/train-* - 验证集:
data/validation-* - 测试集:
data/test-*
- 训练集:
