Bad Spiders - Misbehaving Web-Crawlers Dataset
收藏kaggle2026-05-03 更新2024-03-07 收录
下载链接：
https://www.kaggle.com/datasets/movsisyanm/bad-spiders
下载链接
链接失效反馈官方服务：
资源简介：
Crawlers that went into the "Disallowed" parts of a website ignoring robots.txt
创建时间：
2022-09-12
