ruliad/fineweb_350BT_chunk_63
收藏Hugging Face2024-06-02 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/ruliad/fineweb_350BT_chunk_63
下载链接
链接失效反馈官方服务：
资源简介：
---
dataset_info:
features:
- name: text
dtype: string
- name: id
dtype: string
- name: dump
dtype: string
- name: url
dtype: string
- name: date
dtype: string
- name: file_path
dtype: string
- name: language
dtype: string
- name: language_score
dtype: float64
- name: token_count
dtype: int64
splits:
- name: train
num_bytes: 17287317132
num_examples: 5000000
download_size: 10320248964
dataset_size: 17287317132
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---
dataset_info:
features:
- name: 文本
dtype: string
- name: 标识符
dtype: string
- name: 转储内容
dtype: string
- name: 统一资源定位符（URL）
dtype: string
- name: 日期
dtype: string
- name: 文件路径
dtype: string
- name: 语言
dtype: string
- name: 语言得分
dtype: float64
- name: Token数量
dtype: int64
splits:
- name: 训练集
num_bytes: 17287317132
num_examples: 5000000
download_size: 10320248964
dataset_size: 17287317132
configs:
- config_name: 默认
data_files:
- split: 训练集
path: data/train-*
提供机构：
ruliad
原始信息汇总
数据集概述
数据集特征
- text：字符串类型
- id：字符串类型
- dump：字符串类型
- url：字符串类型
- date：字符串类型
- file_path：字符串类型
- language：字符串类型
- language_score：浮点数类型
- token_count：整数类型
数据集划分
- train：
- 数据量：5000000条记录
- 存储大小：17287317132字节
数据集大小
- 下载大小：10320248964字节
- 数据集总大小：17287317132字节
配置
- default：
- 训练数据路径：
data/train-*
- 训练数据路径：
