refindedweb
收藏OpenDataLab2026-05-17 更新2024-05-09 收录
下载链接：
https://opendatalab.org.cn/OpenDataLab/refindedweb
下载链接
链接失效反馈官方服务：
资源简介：
RefinedWeb是通过严格的过滤和CommonCrawl的大规模重复数据删除构建的; 我们发现在RefinedWeb上训练的模型可以实现在线或优于在精选数据集上训练的模型的性能，同时仅依赖web数据。
RefinedWeb也是 “多模式友好的”: 它包含已处理样本中图像的链接和alt文本。
提供机构：
OpenDataLab
创建时间：
2023-10-11
搜集汇总
数据集介绍
背景与挑战
背景概述
RefinedWeb是一个通过严格过滤和CommonCrawl大规模去重构建的数据集，用于训练模型时仅依赖web数据，却能实现优于或等同于精选数据集的性能。该数据集还具有多模态友好特性，包含处理样本中的图像链接和alt文本。
以上内容由遇见数据集搜集并总结生成
