tohoku-nlp/quiz-datasets

该数据集是从日本小测验（trivia）问题中创建的问答（QA）数据集，用于自然语言处理任务。数据集包含多个配置，每个配置有不同的特征和大小（small, medium, large），并且每个配置都有训练集和验证集。此外，还提供了一个不包含段落的配置。

This is a question answering (QA) dataset constructed from Japanese trivia questions, intended for natural language processing tasks. The dataset includes multiple configurations, each with distinct characteristics and size variants (small, medium, large), and every configuration has both a training set and a validation set. Additionally, a configuration without context passages is also provided.

原始信息汇总

数据集概述

数据集配置1: datasets.jawiki-20220404-c400-small.aio_02

• 特征:
  • qid, competition, timestamp, section, number, original_question, original_answer, original_additional_info, question, answers, passages, positive_passage_indices, negative_passage_indices
  • 数据类型: 字符串, 整数32位
• 分割:
  • train: 22335个样本, 2041349194字节
  • validation: 1000个样本, 91754993字节
• 下载大小: 805138940字节
• 数据集大小: 2133104187字节

数据集配置2: datasets.jawiki-20220404-c400-medium.aio_02

• 特征: 同上
• 分割:
  • train: 22335个样本, 1875144339字节
  • validation: 1000个样本, 84499229字节
• 下载大小: 723119604字节
• 数据集大小: 1959643568字节

数据集配置3: datasets.jawiki-20220404-c400-large.aio_02

• 特征: 同上
• 分割:
  • train: 22335个样本, 1743060319字节
  • validation: 1000个样本, 78679502字节
• 下载大小: 665253451字节
• 数据集大小: 1821739821字节

数据集配置4: passages.jawiki-20220404-c400-small

• 特征:
  • id, pageid, revid, text, section, title
  • 数据类型: 整数32位, 字符串
• 分割:
  • train: 394124个样本, 348002946字节
• 下载大小: 121809648字节
• 数据集大小: 348002946字节

数据集配置5: passages.jawiki-20220404-c400-medium

• 特征: 同上
• 分割:
  • train: 1678986个样本, 1322478989字节
• 下载大小: 469426075字节
• 数据集大小: 1322478989字节

数据集配置6: passages.jawiki-20220404-c400-large

• 特征: 同上
• 分割:
  • train: 4288198个样本, 3054493919字节
• 下载大小: 1110830651字节
• 数据集大小: 3054493919字节

数据集配置7: datasets.no_passages.aio_02

• 特征:
  • qid, competition, timestamp, section, number, original_question, original_answer, original_additional_info, question, answers
• 分割:
  • train: 22335个样本, 9464003字节
  • validation: 1000个样本, 409779字节
• 下载大小: 2267163字节
• 数据集大小: 9873782字节