BEE-spoke-data/fineweb-1M_en-med
收藏Hugging Face2024-04-24 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/BEE-spoke-data/fineweb-1M_en-med
下载链接
链接失效反馈官方服务：
资源简介：
该数据集名为fineweb 1M sample，包含100万个英文文本样本，每个样本的文本长度在384到2048个GPT4 tiktoken tokens之间。数据集主要用于文本生成任务，来源于HuggingFaceFW/fineweb。数据集大小为3805036977字节，下载大小为2352920067字节，采用odc-by许可证。
该数据集名为fineweb 1M sample，包含100万个英文文本样本，每个样本的文本长度在384到2048个GPT4 tiktoken tokens之间。数据集主要用于文本生成任务，来源于HuggingFaceFW/fineweb。数据集大小为3805036977字节，下载大小为2352920067字节，采用odc-by许可证。
提供机构：
BEE-spoke-data
原始信息汇总
数据集概述
基本信息
- 数据集名称: fineweb 1M sample
- 数据集大小: 3805036977 字节
- 下载大小: 2352920067 字节
- 语言: 英语 (en)
- 任务类别: 文本生成 (text-generation)
- 许可证: ODC-BY
- 源数据集: HuggingFaceFW/fineweb
数据结构
- 特征:
- text: 字符串类型
数据分割
- 训练集:
- 名称: train
- 示例数量: 1000000
- 字节数: 3805036977 字节
数据文件配置
- 配置名称: default
- 数据文件路径: data/train-*
数据集规模
- 规模类别: 1M<n<10M
文本长度范围
- 最小长度: 384 GPT4 tiktoken 标记
- 最大长度: 2048 GPT4 tiktoken 标记
搜集汇总
数据集介绍
以上内容由遇见数据集搜集并总结生成
