damerajee/filtering_data-v112

该数据集包含多个特征，如问题文本、元数据、提示和原始答案文本。元数据是一个结构体，包含日期、转储、文件路径、语言、语言评分、令牌计数和URL等子特征。数据集分为一个训练集，包含467,424个样本，总大小为3,614,117,027字节。下载大小为1,576,219,986字节。

The dataset includes multiple features such as question text, metadata, prompt, and original answer texts. Metadata is a structure containing sub-features like date, dump, file path, language, language score, token count, and URL. The dataset is divided into one training set with 467,424 samples, totaling 3,614,117,027 bytes. The download size is 1,576,219,986 bytes.

原始信息汇总

数据集概述

数据集信息

特征

• question_text: 类型为字符串。
• metadata: 结构化数据，包含以下字段：
  • date: 类型为int64。
  • dump: 类型为字符串。
  • file_path: 类型为字符串。
  • language: 类型为字符串。
  • language_score: 类型为float64。
  • token_count: 类型为int64。
  • url: 类型为字符串。
• prompt: 类型为字符串。
• orig_answer_texts: 类型为int64。

数据分割

• train: 包含467424个样本，总大小为3614117027字节。

数据集大小

• 下载大小: 1576219986字节。
• 数据集总大小: 3614117027字节。

配置

• config_name: default
  • data_files:
    • split: train
    • path: data/train-*