BroDeadlines/TEST.TDT.edu_tdt_data

Basic Evaluation dataset for IR是一个用于信息检索的基本评估数据集，包含预处理文本语料库，可作为知识源。数据集包含多个特征，如内容、URL、文档ID、分片和分割。数据集分为训练集、索引集和测试集，每个集有不同的字节数和示例数。数据集有特定的配置和标签，如tdt和corpora。

The Basic Evaluation dataset for IR is a dataset for basic evaluation in information retrieval, containing pre-processed text corpora that can be used as a knowledge source. The dataset includes features such as content, URL, document ID, shards, and splits. It is divided into training, indexing, and testing sets, each with different numbers of bytes and examples. The dataset has specific configurations and tags, such as tdt and corpora.

原始信息汇总

数据集概述

基本信息

• 名称: Basic Evaluation dataset for IR
• 下载大小: 6105780 bytes
• 数据集大小: 42976728 bytes

特征

• content: 文本内容，数据类型为字符串
• url: 文档链接，数据类型为字符串
• doc_id: 文档ID，数据类型为字符串
• shards: 分片数量，数据类型为整数
• splits: 分割序列，数据类型为字符串序列

分割

• train: 包含100个样本，占用9162325 bytes
• INDEX.medium_index_TDT: 包含344个样本，占用24652078 bytes
• TEST.basic_test_tdt_dataset: 包含100个样本，占用9162325 bytes

配置

• default:
  • train: 数据路径为 data/train-*
  • INDEX.medium_index_TDT: 数据路径为 data/INDEX.medium_index_TDT-*
  • TEST.basic_test_tdt_dataset: 数据路径为 data/TEST.basic_test_tdt_dataset-*

标签

• tdt
• corpora

预处理信息

• test-basic_test_tdt_dataset:

  • vector_index: test-basic_test_tdt_dataset
  • method: window_slide
  • step: 50
  • chunk_size: 1500

• index.medium_index_tdt:

  • vector_index: vec-index.medium_index_tdt
  • text_index: text-index.medium_index_tdt
  • method: window_slide
  • step: 50
  • chunk_size: 1500
  • time(min): 5.35