five

akhilhsingh/homeo-dataset

收藏
Hugging Face2024-06-02 更新2024-06-12 收录
下载链接:
https://hf-mirror.com/datasets/akhilhsingh/homeo-dataset
下载链接
链接失效反馈
官方服务:
资源简介:
FineWeb数据集包含超过15万亿个经过清理和去重的英文网页数据,源自CommonCrawl。数据处理的流程优化了LLM性能,并使用了datatrove库进行大规模数据处理。数据集的目标是提供一个完全开放的RefinedWeb复制版本,并在ODC-By 1.0许可下发布完整数据集。通过额外的过滤步骤,FineWeb的性能超过了原始的RefinedWeb,并且在多个基准测试任务上优于其他高质量网页数据集。

FineWeb数据集包含超过15万亿个经过清理和去重的英文网页数据,源自CommonCrawl。数据处理的流程优化了LLM性能,并使用了datatrove库进行大规模数据处理。数据集的目标是提供一个完全开放的RefinedWeb复制版本,并在ODC-By 1.0许可下发布完整数据集。通过额外的过滤步骤,FineWeb的性能超过了原始的RefinedWeb,并且在多个基准测试任务上优于其他高质量网页数据集。
提供机构:
akhilhsingh
原始信息汇总

🍷 FineWeb 数据集概述

数据集基本信息

  • 许可: ODC-By
  • 任务类别: 文本生成
  • 语言: 英语
  • 数据集大小: 超过1TB

配置详情

  • 默认配置 (config_name: default)

    • 数据文件路径: data//
  • 样本配置

    • 样本-10BT (config_name: sample-10BT)
      • 数据文件路径: sample/10BT/*
    • 样本-100BT (config_name: sample-100BT)
      • 数据文件路径: sample/100BT/*
    • 样本-350BT (config_name: sample-350BT)
      • 数据文件路径: sample/350BT/*
  • CC-MAIN配置

    • CC-MAIN-2024-18
      • 数据文件路径: data/CC-MAIN-2024-18/*
    • CC-MAIN-2024-10
      • 数据文件路径: data/CC-MAIN-2024-10/*
    • CC-MAIN-2023-50
      • 数据文件路径: data/CC-MAIN-2023-50/*
    • CC-MAIN-2023-40
      • 数据文件路径: data/CC-MAIN-2023-40/*
    • CC-MAIN-2023-23
      • 数据文件路径: data/CC-MAIN-2023-23/*
    • CC-MAIN-2023-14
      • 数据文件路径: data/CC-MAIN-2023-14/*
    • CC-MAIN-2023-06
      • 数据文件路径: data/CC-MAIN-2023-06/*
    • CC-MAIN-2022-49
      • 数据文件路径: data/CC-MAIN-2022-49/*
    • CC-MAIN-2022-40
      • 数据文件路径: data/CC-MAIN-2022-40/*
    • CC-MAIN-2022-33
      • 数据文件路径: data/CC-MAIN-2022-33/*
    • CC-MAIN-2022-27
      • 数据文件路径: data/CC-MAIN-2022-27/*
    • CC-MAIN-2022-21
      • 数据文件路径: data/CC-MAIN-2022-21/*
    • CC-MAIN-2022-05
      • 数据文件路径: data/CC-MAIN-2022-05/*
    • CC-MAIN-2021-49
      • 数据文件路径: data/CC-MAIN-2021-49/*
    • CC-MAIN-2021-43
      • 数据文件路径: data/CC-MAIN-2021-43/*
    • CC-MAIN-2021-39
      • 数据文件路径: data/CC-MAIN-2021-39/*
    • CC-MAIN-2021-31
      • 数据文件路径: data/CC-MAIN-2021-31/*
    • CC-MAIN-2021-25
      • 数据文件路径: data/CC-MAIN-2021-25/*
    • CC-MAIN-2021-21
      • 数据文件路径: data/CC-MAIN-2021-21/*
    • CC-MAIN-2021-17
      • 数据文件路径: data/CC-MAIN-2021-17/*
    • CC-MAIN-2021-10
      • 数据文件路径: data/CC-MAIN-2021-10/*
    • CC-MAIN-2021-04
      • 数据文件路径: data/CC-MAIN-2021-04/*
    • CC-MAIN-2020-50
      • 数据文件路径: data/CC-MAIN-2020-50/*
    • CC-MAIN-2020-45
      • 数据文件路径: data/CC-MAIN-2020-45/*
    • CC-MAIN-2020-40
      • 数据文件路径: data/CC-MAIN-2020-40/*
    • CC-MAIN-2020-34
      • 数据文件路径: data/CC-MAIN-2020-34/*
    • CC-MAIN-2020-29
      • 数据文件路径: data/CC-MAIN-2020-29/*
    • CC-MAIN-2020-24
      • 数据文件路径: data/CC-MAIN-2020-24/*
    • CC-MAIN-2020-16
      • 数据文件路径: data/CC-MAIN-2020-16/*
    • CC-MAIN-2020-10
      • 数据文件路径: data/CC-MAIN-2020-10/*
    • CC-MAIN-2020-05
      • 数据文件路径: data/CC-MAIN-2020-05/*
    • CC-MAIN-2019-51
      • 数据文件路径: data/CC-MAIN-2019-51/*
    • CC-MAIN-2019-47
      • 数据文件路径: data/CC-MAIN-2019-47/*
    • CC-MAIN-2019-43
      • 数据文件路径: data/CC-MAIN-2019-43/*
    • CC-MAIN-2019-39
      • 数据文件路径: data/CC-MAIN-2019-39/*
    • CC-MAIN-2019-35
      • 数据文件路径: data/CC-MAIN-2019-35/*
    • CC-MAIN-2019-30
      • 数据文件路径: data/CC-MAIN-2019-30/*
    • CC-MAIN-2019-26
      • 数据文件路径: data/CC-MAIN-2019-26/*
    • CC-MAIN-2019-22
      • 数据文件路径: data/CC-MAIN-2019-22/*
    • CC-MAIN-2019-18
      • 数据文件路径: data/CC-MAIN-2019-18/*
    • CC-MAIN-2019-13
      • 数据文件路径: data/CC-MAIN-2019-13/*
    • CC-MAIN-2019-09
      • 数据文件路径: data/CC-MAIN-2019-09/*
    • CC-MAIN-2019-04
      • 数据文件路径: data/CC-MAIN-2019-04/*
    • CC-MAIN-2018-51
      • 数据文件路径: data/CC-MAIN-2018-51/*
    • CC-MAIN-2018-47
      • 数据文件路径: data/CC-MAIN-2018-47/*
    • CC-MAIN-2018-43
      • 数据文件路径: data/CC-MAIN-2018-43/*
    • CC-MAIN-2018-39
      • 数据文件路径: data/CC-MAIN-2018-39/*
    • CC-MAIN-2018-34
      • 数据文件路径: data/CC-MAIN-2018-34/*
    • CC-MAIN-2018-30
      • 数据文件路径: data/CC-MAIN-2018-30/*
    • CC-MAIN-2018-26
      • 数据文件路径: data/CC-MAIN-2018-26/*
    • CC-MAIN-2018-22
      • 数据文件路径: data/CC-MAIN-2018-22/*
    • CC-MAIN-2018-17
      • 数据文件路径: data/CC-MAIN-2018-17/*
    • CC-MAIN-2018-13
      • 数据文件路径: data/CC-MAIN-2018-13/*
    • CC-MAIN-2018-09
      • 数据文件路径: data/CC-MAIN-2018-09/*
    • CC-MAIN-2018-05
      • 数据文件路径: data/CC-MAIN-2018-05/*
    • CC-MAIN-2017-51
      • 数据文件路径: data/CC-MAIN-2017-51/*
    • CC-MAIN-2017-47
      • 数据文件路径: data/CC-MAIN-2017-47/*
    • CC-MAIN-2017-43
      • 数据文件路径: data/CC-MAIN-2017-43/*
    • CC-MAIN-2017-39
      • 数据文件路径: data/CC-MAIN-2017-39/*
    • CC-MAIN-2017-34
      • 数据文件路径: data/CC-MAIN-2017-34/*
    • CC-MAIN-2017-30
      • 数据文件路径: data/CC-MAIN-2017-30/*
    • CC-MAIN-2017-26
      • 数据文件路径: data/CC-MAIN-2017-26/*
    • CC-MAIN-2017-22
      • 数据文件路径: data/CC-MAIN-2017-22/*
    • CC-MAIN-2017-17
      • 数据文件路径: data/CC-MAIN-2017-17/*
    • CC-MAIN-2017-13
      • 数据文件路径: data/CC-MAIN-2017-13/*
    • CC-MAIN-2017-09
      • 数据文件路径: data/CC-MAIN-2017-09/*
    • CC-MAIN-2017-04
      • 数据文件路径: data/CC-MAIN-2017-04/*
    • CC-MAIN-2016-50
      • 数据文件路径: data/CC-MAIN-2016-50/*
    • CC-MAIN-2016-44
      • 数据文件路径: data/CC-MAIN-2016-44/*
    • CC-MAIN-2016-40
      • 数据文件路径: data/CC-MAIN-2016-40/*
    • CC-MAIN-2016-36
      • 数据文件路径: data/CC-MAIN-2016-36/*
    • CC-MAIN-2016-30
      • 数据文件路径: data/CC-MAIN-2016-30/*
    • CC-MAIN-2016-26
      • 数据文件路径: data/CC-MAIN-2016-26/*
    • CC-MAIN-2016-22
      • 数据文件路径: data/CC-MAIN-2016-22/*
    • CC-MAIN-2016-18
      • 数据文件路径: data/CC-MAIN-2016-18/*
    • CC-MAIN-2016-07
      • 数据文件路径: data/CC-MAIN-2016-07/*
    • CC-MAIN-2015-48
      • 数据文件路径: data/CC-MAIN-2015-48/*
    • CC-MAIN-2015-40
      • 数据文件路径: data/CC-MAIN-2015-40/*
    • CC-MAIN-2015-35
      • 数据文件路径: data/CC-MAIN-2015-35/*
    • CC-MAIN-2015-32
      • 数据文件路径: data/CC-MAIN-2015-32/*
    • CC-MAIN-2015-27
      • 数据文件路径: data/CC-MAIN-2015-27/*
    • CC-MAIN-2015-22
      • 数据文件路径: data/CC-MAIN-2015-22/*
    • CC-MAIN-2015-18
      • 数据文件路径: data/CC-MAIN-2015-18/*
    • CC-MAIN-2015-14
      • 数据文件路径: data/CC-MAIN-2015-14/*
    • CC-MAIN-2015-11
      • 数据文件路径: data/CC-MAIN-2015-11/*
    • CC-MAIN-2015-06
      • 数据文件路径: data/CC-MAIN-2015-06/*
    • CC-MAIN-2014-52
      • 数据文件路径: data/CC-MAIN-2014-52/*
    • CC-MAIN-2014-49
      • 数据文件路径: data/CC-MAIN-2014-49/*
    • CC-MAIN-2014-42
      • 数据文件路径: data/CC-MAIN-2014-42/*
    • CC-MAIN-2014-41
      • 数据文件路径: data/CC-MAIN-2014-41/*
    • CC-MAIN-2014-35
      • 数据文件路径: data/CC-MAIN-2014-35/*
    • CC-MAIN-2014-23
      • 数据文件路径: data/CC-MAIN-2014-23/*
    • CC-MAIN-2014-15
      • 数据文件路径: data/CC-MAIN-2014-15/*
    • CC-MAIN-2014-10
      • 数据文件路径: data/CC-MAIN-2014-10/*
    • CC-MAIN-2013-48
      • 数据文件路径: data/CC-MAIN-2013-48/*
    • CC-MAIN-2013-20
      • 数据文件路径: data/CC-MAIN-2013-20/*

数据集版本历史

  • v1.1.0 (31-05-2024): 重新处理并重新上传了11个dump,从CC-MAIN-2021-49CC-MAIN-2023-40,并添加了最新的dump:CC-MAIN-2024-18
  • v1.0.0 (21-04-2024): 初始版本发布。
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作