ftopal/huggingface-models-processed

--- dataset_info: features: - name: pipeline_tag dtype: string - name: library_name dtype: string - name: text dtype: string - name: metadata dtype: string - name: id dtype: string - name: last_modified dtype: 'null' - name: tags sequence: string - name: sha dtype: 'null' - name: created_at dtype: string - name: arxiv sequence: string - name: languages sequence: string - name: tags_str dtype: string - name: text_str dtype: string - name: text_lists sequence: string - name: processed_texts sequence: string - name: tokens_length sequence: int64 - name: input_texts sequence: string splits: - name: train num_bytes: 2586433883 num_examples: 319613 download_size: 644527011 dataset_size: 2586433883 configs: - config_name: default data_files: - split: train path: data/train-* ---

原始信息汇总

数据集概述

数据集信息

特征

• pipeline_tag: 字符串类型
• library_name: 字符串类型
• text: 字符串类型
• metadata: 字符串类型
• id: 字符串类型
• last_modified: 空类型
• tags: 字符串序列
• sha: 空类型
• created_at: 字符串类型
• arxiv: 字符串序列
• languages: 字符串序列
• tags_str: 字符串类型
• text_str: 字符串类型
• text_lists: 字符串序列
• processed_texts: 字符串序列
• tokens_length: 整数序列
• input_texts: 字符串序列

数据分割

• train:
  • 字节数: 2586433883
  • 样本数: 319613

数据集大小

• 下载大小: 644527011 字节
• 数据集大小: 2586433883 字节

配置

• config_name: default
  • 数据文件:
    • 分割: train
    • 路径: data/train-*