jp1924/TechnologyScienceDocumentMachineReadingComprehensionAITrainingDataset

该数据集包含多个字段，如id、corpus、category等，其中metadata字段包含了文档的详细信息，如文档类别、标题、类型、作者、出版商等。数据集分为训练集和验证集，训练集包含5483个示例，验证集包含685个示例。数据集的总大小为150711685字节，下载大小为68946865字节。配置信息包括corpus和summerization两个配置，分别指向训练集和验证集的数据文件路径。

The dataset includes multiple fields such as id, corpus, category, etc., with the metadata field containing detailed information about the documents, such as document category, title, type, author, publisher, etc. The dataset is divided into a training set and a validation set, with the training set containing 5483 examples and the validation set containing 685 examples. The total size of the dataset is 150711685 bytes, and the download size is 68946865 bytes. Configuration information includes two configurations, corpus and summerization, each pointing to the data file paths for the training and validation sets.

原始信息汇总

数据集概述

数据集信息

特征

• id: 数据类型为 int32。
• corpus: 数据类型为 string。
• category: 数据类型为 string。
• sentence_ls: 数据类型为 list，元素为 string。
• metadata: 数据类型为 struct，包含以下字段：
  • doc_category: 数据类型为 struct，包含以下字段：
    • KDC: 数据类型为 string。
    • DDC: 数据类型为 string。
  • doc_title: 数据类型为 struct，包含以下字段：
    • kor: 数据类型为 string。
    • eng: 数据类型为 string。
  • doc_type: 数据类型为 string。
  • doc_id: 数据类型为 string。
  • doc_number: 数据类型为 struct，包含以下字段：
    • ISSN: 数据类型为 string。
    • ISBN: 数据类型为 string。
    • DOI: 数据类型为 string。
    • UCI: 数据类型为 string。
  • doc_year: 数据类型为 string。
  • doc_author: 数据类型为 list，元素为 string。
  • doc_publisher: 数据类型为 string。
  • dataset_info: 数据类型为 struct，包含以下字段：
    • identifier: 数据类型为 string。
    • name: 数据类型为 string。
    • category: 数据类型为 string。
    • last_updated: 数据类型为 string。

数据分割

• train: 包含 5483 个样本，占用 134603460 字节。
• validation: 包含 685 个样本，占用 16108225 字节。

数据集大小

• 下载大小: 68946865 字节。
• 数据集总大小: 150711685 字节。

配置

• corpus: 包含以下数据文件：
  • train: 路径为 data/corpus/train-*。
  • validation: 路径为 data/corpus/validation-*。
• summerization: 包含以下数据文件：
  • train: 路径为 data/summerization/train-*。
  • validation: 路径为 data/summerization/validation-*。

搜集汇总

背景与挑战

背景概述

该数据集是一个专注于技术和科学文档的机器阅读理解（MRC）AI训练数据集，以parquet格式存储，规模中等（10K-100K条数据），总大小为187 MB。它需要用户同意分享联系信息才能访问，且缺乏详细文档（README.md为空），支持Datasets、pandas等库处理。