User Agent Parser & Bot Detection
收藏资源简介:
Parse any user agent string into browser, browser version, OS and device type; detect 1500 known bots and headless browsers with a category (AI crawler, search engine, SEO, uptime monitor, social) for bot management and firewall rules; scraper detection for curl, python-requests and other libraries; 28 LLM crawlers including GPTBot; read Sec-CH-UA Client Hints; flag end-of-life platforms. Batch up to 100 per call.
数据集概述:User Agent Parser & Bot Detection
简介:这是一个用于解析用户代理(User Agent)字符串并检测机器人(Bot)的API服务。它不仅判断请求是否来自机器人,还能识别机器人的具体类型,解决了仅基于用户代理字符串无法准确判断的问题。
核心功能:
- 用户代理解析:基于
uap-core规则集,提取浏览器、操作系统和设备类型。该规则集是ua-parser系列的参考标准,并已通过其18,213个官方测试用例的验证。 - 机器人检测:可识别1,500个已知机器人,并对其进行分类,包括
ai(如GPTBot、ClaudeBot、PerplexityBot)、search、seo、monitoring和social,为防火墙或分析规则提供更精细的信息。 - 客户端提示(Client Hints)解析:支持解析传入的
Sec-CH-UA*请求头,能够过滤GREASE品牌、优先使用完整版本列表,并将Windows平台版本映射到产品名称(13及以上为Windows 11)。 - 支持终止(End-of-support)检查:对照供应商公布的日期,检查如Windows XP至10、Internet Explorer 11、Android 8至12等系统,对于超出支持范围的项目返回
unknown而非猜测。 - 批量处理:提供批量端点,每次请求最多可处理100个字符串,提高日志处理效率。
API端点:
| 端点 | 说明 |
|---|---|
GET /v1/parse?ua=… |
分析单个用户代理字符串 |
GET /v1/detect |
从请求头中获取用户代理并分析 |
POST /v1/parse/batch |
批量解析,最多100个字符串 |
GET /v1/bot?ua=… |
获取机器人判定、分类及运营者页面 |
GET /v1/bot/categories |
获取机器人分类列表 |
GET /v1/health |
服务健康检查 |
性能与可靠性:该服务无上游依赖、无第三方限速,也无需数据库。规则表被编译到服务内部,每次调用仅需几毫秒的纯计算时间,可用性高。
数据来源:浏览器、操作系统和设备规则基于uap-core(Apache-2.0许可),机器人模式基于crawler-user-agents(MIT许可)。
附加信息:该API还能检测curl、python-requests等库的爬虫,并能识别包括GPTBot在内的28个LLM爬虫。
定价方案:提供从免费到付费的多种订阅计划,包括BASIC($0.00/月)、PRO($9.99/月)、ULTRA($29.99/月)和MEGA($99.99/月)。
服务状况:服务等级为100%,响应延迟为576ms,热度评分为8.6。



