有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
Common Crawl|网络爬取数据集|文本挖掘数据集
收藏OpenDataLab2025-04-05 更新2024-05-09 收录
下载链接：
https://opendatalab.org.cn/OpenDataLab/Common_Crawl
下载链接
链接失效反馈资源简介：
Common Crawl 语料库包含在 12 年的网络爬取过程中收集的 PB 级数据。语料库包含原始网页数据、元数据提取和文本提取。 Common Crawl 数据存储在 Amazon Web Services 的公共数据集和全球多个学术云平台上。
提供机构：
OpenDataLab
创建时间：
2022-08-16
AI搜集汇总
数据集介绍
构建方式
Common Crawl数据集的构建基于大规模的网络爬虫技术，通过定期抓取互联网上的公开网页内容，形成一个庞大的文本数据库。该过程涉及复杂的爬虫算法和分布式计算系统，确保数据的广泛性和时效性。数据集的构建还包括对抓取内容的预处理，如去重、过滤和格式化，以提高数据的质量和可用性。
特点
Common Crawl数据集以其海量性和多样性著称，涵盖了全球范围内的网页内容，包括文本、图像和多媒体数据。其特点在于数据的实时更新和广泛覆盖，能够反映互联网内容的最新动态。此外，数据集的开放性和免费访问政策，使其成为研究者和开发者的重要资源，尤其在自然语言处理和数据挖掘领域具有广泛应用。
使用方法
Common Crawl数据集的使用方法多样，适用于多种研究和开发场景。研究者可以通过API接口或直接下载数据集进行分析，利用其丰富的文本数据进行语言模型训练、情感分析和信息检索等任务。开发者则可以利用数据集构建搜索引擎、推荐系统和内容管理系统。使用时需注意数据集的规模和复杂性，合理配置计算资源和数据处理策略，以确保高效和准确的结果。
背景与挑战
背景概述
Common Crawl数据集，自2011年由Gil Elbaz及其团队创建以来，已成为全球最大的公开可用网页存档之一。该数据集的核心研究问题在于如何高效地抓取、存储和分析海量的网页数据，以支持自然语言处理、机器学习和数据挖掘等领域的研究。Common Crawl每月从互联网上抓取数十亿网页，并将其以开放数据的形式提供给全球的研究者和开发者，极大地推动了相关领域的技术进步和创新。
当前挑战
尽管Common Crawl数据集在数据规模和开放性方面具有显著优势，但其构建和使用过程中仍面临诸多挑战。首先，数据的质量和一致性问题，由于抓取的网页内容多样且复杂，数据清洗和预处理成为一大难题。其次，数据存储和处理的效率问题，如何高效地存储和检索如此庞大的数据集，对计算资源和算法设计提出了高要求。此外，隐私和版权问题也是不可忽视的挑战，如何在保证数据开放性的同时，遵守相关法律法规，保护用户隐私和知识产权，是该数据集未来发展的重要课题。
发展历史
创建时间与更新
Common Crawl数据集创建于2011年，自那时起，它每年都会进行多次更新，以确保数据的时效性和广泛性。
重要里程碑
Common Crawl的首次发布标志着大规模公开网络数据集的诞生，为自然语言处理和机器学习领域提供了前所未有的资源。2012年，该数据集首次被用于构建大规模语言模型，显著推动了相关研究的发展。2015年，Common Crawl开始提供结构化数据，包括HTML、文本和元数据，进一步丰富了研究者的数据来源。
当前发展情况
当前，Common Crawl已成为全球最大的公开网络数据集之一，每月更新数十亿网页数据，涵盖多种语言和领域。它不仅支持了众多学术研究项目，还为工业界提供了宝贵的数据资源，推动了搜索引擎优化、内容分析和智能推荐系统的发展。Common Crawl的持续更新和扩展，使其在数据科学和人工智能领域中保持着重要的地位。
发展历程
- Common Crawl项目正式启动，旨在创建一个开放的网络数据集，供研究人员和开发者使用。
- 首次发布Common Crawl数据集，包含约50亿个网页的文本数据，标志着该项目进入实际应用阶段。
- Common Crawl数据集的规模显著扩大，涵盖了超过100亿个网页，成为全球最大的开放网络数据集之一。
- Common Crawl开始提供每月更新的数据集，确保数据的时效性和实用性，进一步推动了其在学术和工业界的应用。
- Common Crawl数据集被广泛应用于自然语言处理、机器学习和数据挖掘等领域，成为研究者和开发者的重要资源。
常用场景
经典使用场景
在自然语言处理领域，Common Crawl数据集被广泛用于大规模文本数据的预处理和分析。其经典使用场景包括但不限于语言模型训练、信息检索系统的构建以及跨语言翻译模型的开发。通过利用这一数据集，研究者能够获取海量的非结构化文本，从而为各种复杂的语言任务提供丰富的训练数据。
解决学术问题
Common Crawl数据集在解决学术研究问题方面具有显著意义。它为研究者提供了一个庞大的、多样化的文本资源库，有助于解决数据稀缺和数据偏差等常见问题。例如，通过使用Common Crawl，研究者可以训练出更加鲁棒和泛化能力强的语言模型，从而推动自然语言处理技术的发展。
衍生相关工作
基于Common Crawl数据集，许多经典工作得以展开。例如，研究者们开发了多种预训练语言模型，如BERT和GPT系列，这些模型在多个自然语言处理任务中表现出色。此外，Common Crawl还促进了跨领域研究，如数据挖掘和网络分析，推动了相关领域的技术进步和创新。
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
中国1km分辨率逐月降水量数据集（1901-2023）
该数据集为中国逐月降水量数据，空间分辨率为0.0083333°（约1km），时间为1901.1-2023.12。数据格式为NETCDF，即.nc格式。该数据集是根据CRU发布的全球0.5°气候数据集以及WorldClim发布的全球高分辨率气候数据集，通过Delta空间降尺度方案在中国降尺度生成的。并且，使用496个独立气象观测点数据进行验证，验证结果可信。本数据集包含的地理空间范围是全国主要陆地（包含港澳台地区），不含南海岛礁等区域。为了便于存储，数据均为int16型存于nc文件中，降水单位为0.1mm。 nc数据可使用ArcMAP软件打开制图; 并可用Matlab软件进行提取处理，Matlab发布了读入与存储nc文件的函数，读取函数为ncread，切换到nc文件存储文件夹，语句表达为：ncread (‘XXX.nc’,‘var’, [i j t],[leni lenj lent])，其中XXX.nc为文件名，为字符串需要’’；var是从XXX.nc中读取的变量名，为字符串需要’’；i、j、t分别为读取数据的起始行、列、时间，leni、lenj、lent i分别为在行、列、时间维度上读取的长度。这样，研究区内任何地区、任何时间段均可用此函数读取。Matlab的help里面有很多关于nc数据的命令，可查看。数据坐标系统建议使用WGS84。
国家青藏高原科学数据中心 收录
Stanford Cars
Cars数据集包含196类汽车的16,185图像。数据被分成8,144训练图像和8,041测试图像，其中每个类被大致分成50-50。类别通常在品牌，型号，年份，例如2012特斯拉Model S或2012 BMW M3 coupe的级别。
OpenDataLab 收录
中国区域地面气象要素驱动数据集 v2.0（1951-2020）
中国区域地面气象要素驱动数据集（China Meteorological Forcing Data，以下简称 CMFD）是为支撑中国区域陆面、水文、生态等领域研究而研发的一套高精度、高分辨率、长时间序列数据产品。本页面发布的 CMFD 2.0 包含了近地面气温、气压、比湿、全风速、向下短波辐射通量、向下长波辐射通量、降水率等气象要素，时间分辨率为 3 小时，水平空间分辨率为 0.1°，时间长度为 70 年（1951~2020 年），覆盖了 70°E~140°E，15°N~55°N 空间范围内的陆地区域。CMFD 2.0 融合了欧洲中期天气预报中心 ERA5 再分析数据与气象台站观测数据，并在辐射、降水数据产品中集成了采用人工智能技术制作的 ISCCP-ITP-CNN 和 TPHiPr 数据产品，其数据精度较 CMFD 的上一代产品有显著提升。 CMFD 历经十余年的发展，其间发布了多个重要版本。2019 年发布的 CMFD 1.6 是完全采用传统数据融合技术制作的最后一个 CMFD 版本，而本次发布的 CMFD 2.0 则是 CMFD 转向人工智能技术制作的首个版本。此版本与 1.6 版具有相同的时空分辨率和基础变量集，但在其它诸多方面存在大幅改进。除集成了采用人工智能技术制作的辐射和降水数据外，在制作 CMFD 2.0 的过程中，研发团队尽可能采用单一来源的再分析数据作为输入并引入气象台站迁址信息，显著缓解了 CMFD 1.6 中因多源数据拼接和气象台站迁址而产生的虚假气候突变。同时，CMFD 2.0 数据的时间长度从 CMFD 1.6 的 40 年大幅扩展到了 70 年，并将继续向后延伸。CMFD 2.0 的网格空间范围虽然与 CMFD 1.6 相同，但其有效数据扩展到了中国之外，能够更好地支持跨境区域研究。为方便用户使用，CMFD 2.0 还在基础变量集之外提供了若干衍生变量，包括近地面相对湿度、雨雪分离降水产品等。此外，CMFD 2.0 摒弃了 CMFD 1.6 中通过 scale_factor 和 add_offset 参数将实型数据化为整型数据的压缩技术，转而直接将实型数据压缩存储于 NetCDF4 格式文件中，从而消除了用户使用数据时进行解压换算的困扰。 本数据集原定版本号为 1.7，但鉴于本数据集从输入数据到研制技术都较上一代数据产品有了大幅的改变，故将其版本号重新定义为 2.0。CMFD 2.0 的数据内容与此前宣传的 CMFD 1.7 基本一致，仅对 1983 年 7 月以后的向下短/长波辐射通量数据进行了更新，以修正其长期趋势存在的问题。2021 年至 2024 年的 CMFD 数据正在制作中，计划于 2025 年上半年发布，从而使 CMFD 2.0 延伸至 2024 年底。
国家青藏高原科学数据中心 收录
China Groundgroundwater Monitoring Network
该数据集包含中国地下水监测网络的数据，涵盖了全国范围内的地下水位、水质和相关环境参数的监测信息。数据包括但不限于监测站点位置、监测时间、水位深度、水质指标（如pH值、溶解氧、总硬度等）以及环境因素（如气温、降水量等）。
www.ngac.org.cn 收录
MedChain
MedChain是由香港城市大学、香港中文大学、深圳大学、阳明交通大学和台北荣民总医院联合创建的临床决策数据集，包含12,163个临床案例，涵盖19个医学专科和156个子类别。数据集通过五个关键阶段模拟临床工作流程，强调个性化、互动性和顺序性。数据来源于中国医疗网站“iiYi”，经过专业医生验证和去识别化处理，确保数据质量和患者隐私。MedChain旨在评估大型语言模型在真实临床场景中的诊断能力，解决现有基准在个性化医疗、互动咨询和顺序决策方面的不足。
arXiv 收录