AI Crawler User Agents -GPTBot ClaudeBot & 26 more

收藏

kaggle2026-08-14 更新2026-08-19 收录

爬虫robots.txt合规

数据链接：

https://www.kaggle.com/datasets/osama1malik/ai-crawler-use-agents 数据链接链接失效反馈

官方服务：

资源简介：

Every known AI crawler with operator, purpose, and robots.txt compliance

本数据集涵盖所有已知AI爬虫，每条数据均包含其运营主体、用途及robots.txt合规性相关信息

创建时间：

2026-08-07

© 2023-2026 上海数据发展科技有限责任公司版权所有

沪ICP备17003045号-15 沪公网安备31010402336585号

二维码

社区交流群

二维码

科研交流群

商业服务