crawls

kaggle2023-10-26 更新2024-05-26 收录

下载链接：

https://www.kaggle.com/datasets/nganguyt/crawls

下载链接

链接失效反馈

官方服务：

资源简介：

创建时间：

2023-10-26

crawled

kaggle2022-12-13 更新00

Common Crawl

Common Crawl 语料库包含在 12 年的网络爬取过程中收集的 PB 级数据。语料库包含原始网页数据、元数据提取和文本提取。 Common Crawl 数据存储在 Amazon Web Services 的公共数据集和全球多个学术云平台上。

OpenXLab10

Mimir crawled dataset

该数据集由Mimir爬虫收集，包含超过25k个站点的页面。数据集的创建是为了研究Tor网络的拓扑结构，以及不同类型内容的分布情况。通过独特的爬取策略，该数据集避免了重复内容的收录，首次为Tor网络中的隐藏服务提供了一个无镜像的网络分析视角。数据集主要用于网络安全和犯罪活动的研究，特别是针对Tor网络中的暗网内容分析。

arXiv2025-04-23 更新390

Crawl

The dataset used in this paper for approximate nearest neighbor search.

DataCite Commons2026-01-07 更新80

OpenWPM Crawls

印度正在经历激烈的政治党派和宗派分歧。据我们所知，本文对印度在线新闻媒体进行了有关跟踪和党派关系的首次全面分析。我们建立了一个103的数据集在线，主要是主流新闻网站。在两位专家的帮助下，以及来自无国界记者媒体所有权监视器的数据，我们根据这些网站的党派立场 (左，右或中心) 对其进行标记。我们研究并比较这些站点上的用户跟踪与不同的指标: cookie数量，cookie同步，设备指纹识别和基于不可见像

OpenDataLab2026-07-05 更新120