unlearning-cleanslate/verif-bm25-dolma-6T

---
dataset_info:
features:
- name: content_id
dtype: string
- name: content_title
dtype: string
- name: reference_target
dtype: large_string
- name: retrieval_method
dtype: string
- name: corpus_name
dtype: string
- name: doc_id
dtype: string
- name: doc_source
dtype: string
- name: doc_category
dtype: string
- name: unit_id
dtype: string
- name: unit_char_start
dtype: int64
- name: unit_char_end
dtype: int64
- name: rank
dtype: int64
- name: score
dtype: float64
- name: retrieved_text
dtype: large_string
- name: metadata
dtype: large_string
splits:
- name: train
num_bytes: 5156488912
num_examples: 466600
download_size: 1535267038
dataset_size: 5156488912
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征：
- 名称：内容ID（content_id），数据类型：字符串（string）
- 名称：内容标题（content_title），数据类型：字符串（string）
- 名称：参考目标（reference_target），数据类型：大字符串（large_string）
- 名称：检索方法（retrieval_method），数据类型：字符串（string）
- 名称：语料库名称（corpus_name），数据类型：字符串（string）
- 名称：文档ID（doc_id），数据类型：字符串（string）
- 名称：文档来源（doc_source），数据类型：字符串（string）
- 名称：文档类别（doc_category），数据类型：字符串（string）
- 名称：单元ID（unit_id），数据类型：字符串（string）
- 名称：单元字符起始位置（unit_char_start），数据类型：64位整数（int64）
- 名称：单元字符结束位置（unit_char_end），数据类型：64位整数（int64）
- 名称：排名（rank），数据类型：64位整数（int64）
- 名称：得分（score），数据类型：64位浮点数（float64）
- 名称：检索文本（retrieved_text），数据类型：大字符串（large_string）
- 名称：元数据（metadata），数据类型：大字符串（large_string）
数据划分：
- 划分名称：训练集（train），字节占用量：5156488912，样本数量：466600
下载大小：1535267038，数据集总大小：5156488912
配置：
- 配置名称：默认配置（default），数据文件：
- 对应拆分：训练集（train），数据路径：data/train-*