ContextSearchLM/context_search_vietnamese_prompt_97_minilmtok

该数据集主要用于自然语言处理任务，包含查询、正例和反例的文本数据，以及它们对应的ID和注意力掩码。数据集分为训练集和验证集，分别用于模型训练和验证。

This dataset is primarily used for natural language processing tasks, containing text data for queries, positive examples, and negative examples, along with their corresponding IDs and attention masks. The dataset is split into a training set and a validation set, used for model training and validation respectively.

原始信息汇总

数据集概述

数据集特征

• query: 字符串类型
• pos: 字符串类型
• neg: 字符串类型
• query_ids: 整数序列类型
• query_attention_mask: 整数序列类型
• positive_ids: 整数序列类型
• positive_attention_mask: 整数序列类型
• negative_ids: 整数序列类型
• negative_attention_mask: 整数序列类型

数据集分割

• train:
  • 字节数: 2199060657.374737
  • 样本数: 1600983
• validation:
  • 字节数: 7191922.85050598
  • 样本数: 5977

数据集大小

• 下载大小: 859146492 字节
• 总大小: 2206252580.2252426 字节

配置

• config_name: default
  • 数据文件路径:
    • train: data/train-*
    • validation: data/validation-*