ftopal/huggingface-models-processed

---
dataset_info:
features:
- name: pipeline_tag
dtype: string
- name: library_name
dtype: string
- name: text
dtype: string
- name: metadata
dtype: string
- name: id
dtype: string
- name: last_modified
dtype: 'null'
- name: tags
sequence: string
- name: sha
dtype: 'null'
- name: created_at
dtype: string
- name: arxiv
sequence: string
- name: languages
sequence: string
- name: tags_str
dtype: string
- name: text_str
dtype: string
- name: text_lists
sequence: string
- name: processed_texts
sequence: string
- name: tokens_length
sequence: int64
- name: input_texts
sequence: string
splits:
- name: train
num_bytes: 2586433883
num_examples: 319613
download_size: 644527011
dataset_size: 2586433883
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

原始信息汇总

数据集概述

数据集信息

特征

• pipeline_tag: 字符串类型
• library_name: 字符串类型
• text: 字符串类型
• metadata: 字符串类型
• id: 字符串类型
• last_modified: 空类型
• tags: 字符串序列
• sha: 空类型
• created_at: 字符串类型
• arxiv: 字符串序列
• languages: 字符串序列
• tags_str: 字符串类型
• text_str: 字符串类型
• text_lists: 字符串序列
• processed_texts: 字符串序列
• tokens_length: 整数序列
• input_texts: 字符串序列

数据分割

• train:
  • 字节数: 2586433883
  • 样本数: 319613

数据集大小

• 下载大小: 644527011 字节
• 数据集大小: 2586433883 字节

配置

• config_name: default
  • 数据文件:
    • 分割: train
    • 路径: data/train-*