AilinWhiteNight/ranker_thv2

该数据集由三个来源的数据处理而成，包括miracl/miracl、facebook/xnli和castorini/mr-tydi。每个来源的数据通过特定的脚本进行处理，生成包含查询、正面段落和负面段落的数据集。数据集分为训练集、开发集和测试集，每个集都有相应的特征和行数。训练集包含398,398个例子，开发集包含4,030个例子，测试集包含6,795个例子。数据集的总下载大小为153,841,910字节，总数据集大小为386,532,718字节。

This dataset is processed from three sources: miracl/miracl, facebook/xnli, and castorini/mr-tydi. Each sources data is processed through specific scripts to generate a dataset containing queries, positive passages, and negative passages. The dataset is divided into training, development, and test sets, each with corresponding features and number of rows. The training set contains 398,398 examples, the development set contains 4,030 examples, and the test set contains 6,795 examples. The total download size of the dataset is 153,841,910 bytes, and the total dataset size is 386,532,718 bytes.

原始信息汇总

数据集概述

数据集信息

• 特征:

  • query: 字符串类型
  • positive_passages: 字符串序列类型
  • negative_passages: 字符串序列类型

• 分割:

  • train:
    • 字节数: 361146987
    • 样本数: 398398
  • dev:
    • 字节数: 14493923
    • 样本数: 4030
  • test:
    • 字节数: 10891808
    • 样本数: 6795

• 下载大小: 153841910 字节

• 数据集大小: 386532718 字节

配置

• 默认配置:
  • train: data/train-*
  • dev: data/dev-*
  • test: data/test-*

数据处理脚本

miracl/miracl

• 功能: 提取文本
• 特征:
  • query
  • positive_passages
  • negative_passages
• 分割:
  • train: 2972 行
  • eval: 366 行
  • test: 367 行

facebook/xnli

• 功能: 将格式从 [premise, hypothesis, label] 转换为 [query, positive_passages, negative_passages]
• 特征:
  • query
  • positive_passages
  • negative_passages
• 分割:
  • train: 392702 行
  • eval: 2490 行
  • test: 5010 行

castorini/mr-tydi

• 功能: 处理 dev 和 test 集，从语料库中检索 docid
• 特征:
  • query_id
  • query
  • positive_passages
  • negative_passages
• 分割:
  • train: 3319 行
  • dev: 807 行
  • test: 1190 行