akhilhsingh/homeo-dataset

FineWeb数据集包含超过15万亿个经过清理和去重的英文网页数据，源自CommonCrawl。数据处理的流程优化了LLM性能，并使用了datatrove库进行大规模数据处理。数据集的目标是提供一个完全开放的RefinedWeb复制版本，并在ODC-By 1.0许可下发布完整数据集。通过额外的过滤步骤，FineWeb的性能超过了原始的RefinedWeb，并且在多个基准测试任务上优于其他高质量网页数据集。

原始信息汇总

🍷 FineWeb 数据集概述

数据集基本信息

• 许可: ODC-By
• 任务类别: 文本生成
• 语言: 英语
• 数据集大小: 超过1TB

配置详情

• 默认配置 (config_name: default)

  • 数据文件路径: data//

• 样本配置

  • 样本-10BT (config_name: sample-10BT)
    • 数据文件路径: sample/10BT/*
  • 样本-100BT (config_name: sample-100BT)
    • 数据文件路径: sample/100BT/*
  • 样本-350BT (config_name: sample-350BT)
    • 数据文件路径: sample/350BT/*

• CC-MAIN配置

  • CC-MAIN-2024-18
    • 数据文件路径: data/CC-MAIN-2024-18/*
  • CC-MAIN-2024-10
    • 数据文件路径: data/CC-MAIN-2024-10/*
  • CC-MAIN-2023-50
    • 数据文件路径: data/CC-MAIN-2023-50/*
  • CC-MAIN-2023-40
    • 数据文件路径: data/CC-MAIN-2023-40/*
  • CC-MAIN-2023-23
    • 数据文件路径: data/CC-MAIN-2023-23/*
  • CC-MAIN-2023-14
    • 数据文件路径: data/CC-MAIN-2023-14/*
  • CC-MAIN-2023-06
    • 数据文件路径: data/CC-MAIN-2023-06/*
  • CC-MAIN-2022-49
    • 数据文件路径: data/CC-MAIN-2022-49/*
  • CC-MAIN-2022-40
    • 数据文件路径: data/CC-MAIN-2022-40/*
  • CC-MAIN-2022-33
    • 数据文件路径: data/CC-MAIN-2022-33/*
  • CC-MAIN-2022-27
    • 数据文件路径: data/CC-MAIN-2022-27/*
  • CC-MAIN-2022-21
    • 数据文件路径: data/CC-MAIN-2022-21/*
  • CC-MAIN-2022-05
    • 数据文件路径: data/CC-MAIN-2022-05/*
  • CC-MAIN-2021-49
    • 数据文件路径: data/CC-MAIN-2021-49/*
  • CC-MAIN-2021-43
    • 数据文件路径: data/CC-MAIN-2021-43/*
  • CC-MAIN-2021-39
    • 数据文件路径: data/CC-MAIN-2021-39/*
  • CC-MAIN-2021-31
    • 数据文件路径: data/CC-MAIN-2021-31/*
  • CC-MAIN-2021-25
    • 数据文件路径: data/CC-MAIN-2021-25/*
  • CC-MAIN-2021-21
    • 数据文件路径: data/CC-MAIN-2021-21/*
  • CC-MAIN-2021-17
    • 数据文件路径: data/CC-MAIN-2021-17/*
  • CC-MAIN-2021-10
    • 数据文件路径: data/CC-MAIN-2021-10/*
  • CC-MAIN-2021-04
    • 数据文件路径: data/CC-MAIN-2021-04/*
  • CC-MAIN-2020-50
    • 数据文件路径: data/CC-MAIN-2020-50/*
  • CC-MAIN-2020-45
    • 数据文件路径: data/CC-MAIN-2020-45/*
  • CC-MAIN-2020-40
    • 数据文件路径: data/CC-MAIN-2020-40/*
  • CC-MAIN-2020-34
    • 数据文件路径: data/CC-MAIN-2020-34/*
  • CC-MAIN-2020-29
    • 数据文件路径: data/CC-MAIN-2020-29/*
  • CC-MAIN-2020-24
    • 数据文件路径: data/CC-MAIN-2020-24/*
  • CC-MAIN-2020-16
    • 数据文件路径: data/CC-MAIN-2020-16/*
  • CC-MAIN-2020-10
    • 数据文件路径: data/CC-MAIN-2020-10/*
  • CC-MAIN-2020-05
    • 数据文件路径: data/CC-MAIN-2020-05/*
  • CC-MAIN-2019-51
    • 数据文件路径: data/CC-MAIN-2019-51/*
  • CC-MAIN-2019-47
    • 数据文件路径: data/CC-MAIN-2019-47/*
  • CC-MAIN-2019-43
    • 数据文件路径: data/CC-MAIN-2019-43/*
  • CC-MAIN-2019-39
    • 数据文件路径: data/CC-MAIN-2019-39/*
  • CC-MAIN-2019-35
    • 数据文件路径: data/CC-MAIN-2019-35/*
  • CC-MAIN-2019-30
    • 数据文件路径: data/CC-MAIN-2019-30/*
  • CC-MAIN-2019-26
    • 数据文件路径: data/CC-MAIN-2019-26/*
  • CC-MAIN-2019-22
    • 数据文件路径: data/CC-MAIN-2019-22/*
  • CC-MAIN-2019-18
    • 数据文件路径: data/CC-MAIN-2019-18/*
  • CC-MAIN-2019-13
    • 数据文件路径: data/CC-MAIN-2019-13/*
  • CC-MAIN-2019-09
    • 数据文件路径: data/CC-MAIN-2019-09/*
  • CC-MAIN-2019-04
    • 数据文件路径: data/CC-MAIN-2019-04/*
  • CC-MAIN-2018-51
    • 数据文件路径: data/CC-MAIN-2018-51/*
  • CC-MAIN-2018-47
    • 数据文件路径: data/CC-MAIN-2018-47/*
  • CC-MAIN-2018-43
    • 数据文件路径: data/CC-MAIN-2018-43/*
  • CC-MAIN-2018-39
    • 数据文件路径: data/CC-MAIN-2018-39/*
  • CC-MAIN-2018-34
    • 数据文件路径: data/CC-MAIN-2018-34/*
  • CC-MAIN-2018-30
    • 数据文件路径: data/CC-MAIN-2018-30/*
  • CC-MAIN-2018-26
    • 数据文件路径: data/CC-MAIN-2018-26/*
  • CC-MAIN-2018-22
    • 数据文件路径: data/CC-MAIN-2018-22/*
  • CC-MAIN-2018-17
    • 数据文件路径: data/CC-MAIN-2018-17/*
  • CC-MAIN-2018-13
    • 数据文件路径: data/CC-MAIN-2018-13/*
  • CC-MAIN-2018-09
    • 数据文件路径: data/CC-MAIN-2018-09/*
  • CC-MAIN-2018-05
    • 数据文件路径: data/CC-MAIN-2018-05/*
  • CC-MAIN-2017-51
    • 数据文件路径: data/CC-MAIN-2017-51/*
  • CC-MAIN-2017-47
    • 数据文件路径: data/CC-MAIN-2017-47/*
  • CC-MAIN-2017-43
    • 数据文件路径: data/CC-MAIN-2017-43/*
  • CC-MAIN-2017-39
    • 数据文件路径: data/CC-MAIN-2017-39/*
  • CC-MAIN-2017-34
    • 数据文件路径: data/CC-MAIN-2017-34/*
  • CC-MAIN-2017-30
    • 数据文件路径: data/CC-MAIN-2017-30/*
  • CC-MAIN-2017-26
    • 数据文件路径: data/CC-MAIN-2017-26/*
  • CC-MAIN-2017-22
    • 数据文件路径: data/CC-MAIN-2017-22/*
  • CC-MAIN-2017-17
    • 数据文件路径: data/CC-MAIN-2017-17/*
  • CC-MAIN-2017-13
    • 数据文件路径: data/CC-MAIN-2017-13/*
  • CC-MAIN-2017-09
    • 数据文件路径: data/CC-MAIN-2017-09/*
  • CC-MAIN-2017-04
    • 数据文件路径: data/CC-MAIN-2017-04/*
  • CC-MAIN-2016-50
    • 数据文件路径: data/CC-MAIN-2016-50/*
  • CC-MAIN-2016-44
    • 数据文件路径: data/CC-MAIN-2016-44/*
  • CC-MAIN-2016-40
    • 数据文件路径: data/CC-MAIN-2016-40/*
  • CC-MAIN-2016-36
    • 数据文件路径: data/CC-MAIN-2016-36/*
  • CC-MAIN-2016-30
    • 数据文件路径: data/CC-MAIN-2016-30/*
  • CC-MAIN-2016-26
    • 数据文件路径: data/CC-MAIN-2016-26/*
  • CC-MAIN-2016-22
    • 数据文件路径: data/CC-MAIN-2016-22/*
  • CC-MAIN-2016-18
    • 数据文件路径: data/CC-MAIN-2016-18/*
  • CC-MAIN-2016-07
    • 数据文件路径: data/CC-MAIN-2016-07/*
  • CC-MAIN-2015-48
    • 数据文件路径: data/CC-MAIN-2015-48/*
  • CC-MAIN-2015-40
    • 数据文件路径: data/CC-MAIN-2015-40/*
  • CC-MAIN-2015-35
    • 数据文件路径: data/CC-MAIN-2015-35/*
  • CC-MAIN-2015-32
    • 数据文件路径: data/CC-MAIN-2015-32/*
  • CC-MAIN-2015-27
    • 数据文件路径: data/CC-MAIN-2015-27/*
  • CC-MAIN-2015-22
    • 数据文件路径: data/CC-MAIN-2015-22/*
  • CC-MAIN-2015-18
    • 数据文件路径: data/CC-MAIN-2015-18/*
  • CC-MAIN-2015-14
    • 数据文件路径: data/CC-MAIN-2015-14/*
  • CC-MAIN-2015-11
    • 数据文件路径: data/CC-MAIN-2015-11/*
  • CC-MAIN-2015-06
    • 数据文件路径: data/CC-MAIN-2015-06/*
  • CC-MAIN-2014-52
    • 数据文件路径: data/CC-MAIN-2014-52/*
  • CC-MAIN-2014-49
    • 数据文件路径: data/CC-MAIN-2014-49/*
  • CC-MAIN-2014-42
    • 数据文件路径: data/CC-MAIN-2014-42/*
  • CC-MAIN-2014-41
    • 数据文件路径: data/CC-MAIN-2014-41/*
  • CC-MAIN-2014-35
    • 数据文件路径: data/CC-MAIN-2014-35/*
  • CC-MAIN-2014-23
    • 数据文件路径: data/CC-MAIN-2014-23/*
  • CC-MAIN-2014-15
    • 数据文件路径: data/CC-MAIN-2014-15/*
  • CC-MAIN-2014-10
    • 数据文件路径: data/CC-MAIN-2014-10/*
  • CC-MAIN-2013-48
    • 数据文件路径: data/CC-MAIN-2013-48/*
  • CC-MAIN-2013-20
    • 数据文件路径: data/CC-MAIN-2013-20/*

数据集版本历史

• v1.1.0 (31-05-2024): 重新处理并重新上传了11个dump，从CC-MAIN-2021-49到CC-MAIN-2023-40，并添加了最新的dump：CC-MAIN-2024-18。
• v1.0.0 (21-04-2024): 初始版本发布。