nirantk/msmarco-copy

---
language:
- en
dataset_info:
features:
- name: answers
sequence: string
- name: passages
sequence:
- name: is_selected
dtype: int32
- name: passage_text
dtype: string
- name: url
dtype: string
- name: query
dtype: string
- name: query_id
dtype: int32
- name: query_type
dtype: string
- name: wellFormedAnswers
sequence: string
splits:
- name: validation
num_bytes: 413765365
num_examples: 101093
- name: train
num_bytes: 3462807709
num_examples: 808731
- name: test
num_bytes: 405691932
num_examples: 101092
download_size: 2105813538
dataset_size: 4282265006
configs:
- config_name: default
data_files:
- split: validation
path: data/validation-*
- split: train
path: data/train-*
- split: test
path: data/test-*
---

语言：英文（en）
数据集元信息：
特征项：
1. 答案（answers）：字符串序列（string）
2. 上下文段落（passages）：序列结构，包含以下子字段：
- 选中标记（is_selected）：32位整型（int32）数据类型（dtype）
- 段落文本（passage_text）：字符串（string）数据类型（dtype）
- 来源链接（url）：字符串（string）数据类型（dtype）
3. 查询语句（query）：字符串（string）数据类型（dtype）
4. 查询ID（query_id）：32位整型（int32）数据类型（dtype）
5. 查询类型（query_type）：字符串（string）数据类型（dtype）
6. 规范答案（wellFormedAnswers）：字符串序列（string）
数据集划分：
1. 验证集（validation）：数据字节数为413765365，样本量为101093
2. 训练集（train）：数据字节数为3462807709，样本量为808731
3. 测试集（test）：数据字节数为405691932，样本量为101092
下载总大小：2105813538字节；数据集总存储大小：4282265006字节
数据集配置：
1. 默认配置（config_name: default）：
数据文件映射：
- 验证集（validation）：对应数据路径为 data/validation-*
- 训练集（train）：对应数据路径为 data/train-*
- 测试集（test）：对应数据路径为 data/test-*

原始信息汇总

数据集概述

数据集特征

• answers: 字符串序列
• passages: 序列
  • is_selected: 整型 (int32)
  • passage_text: 字符串
  • url: 字符串
• query: 字符串
• query_id: 整型 (int32)
• query_type: 字符串
• wellFormedAnswers: 字符串序列

数据集分割

• validation:
  • 字节数: 413765365
  • 示例数: 101093
• train:
  • 字节数: 3462807709
  • 示例数: 808731
• test:
  • 字节数: 405691932
  • 示例数: 101092

数据集大小

• 下载大小: 2105813538 字节
• 数据集总大小: 4282265006 字节

配置文件

• default
  • validation: 路径 data/validation-*
  • train: 路径 data/train-*
  • test: 路径 data/test-*