ScrapeUnblocker

ScrapeUnblocker allows to bypass anti-bot services and scrape the full page source of any given URL within seconds.

原始信息汇总

ScrapeUnblocker API 数据集概述

基本信息

• API名称：ScrapeUnblocker
• 类别：Data
• 提供商：ScrapeUnblocker
• 当前版本：v1
• 订阅者数量：71

服务评级

• 流行度：9.7
• 服务等级：100%
• 延迟：7852ms

定价计划

• BASIC：$0.00 / 月
• PRO：$19.00 / 月
• ULTRA：$99.00 / 月
• MEGA：$199.00 / 月

功能概述

ScrapeUnblocker 是一个高级 API，旨在帮助用户抓取那些阻止请求的网站。它能够轻松绕过反机器人系统和访问限制，允许用户在几秒钟内检索几乎任何网页的完整 HTML 源代码。该 API 主要针对分类广告网站和在线市场构建，同时也适用于社交网络网站。

核心能力

• 处理的反机器人系统：
  • Cloudflare（包括 JavaScript 挑战和 CAPTCHA）
  • PerimeterX（包括 JavaScript 挑战和 CAPTCHA）
  • Akamai Bot Manager
  • Amazon Bot Detection
  • 自定义的基于 JavaScript/Cookie 的保护

主要特性

• JavaScript 渲染：自动渲染目标页面上的 JavaScript，确保捕获依赖客户端脚本的动态内容。
• 反机器人绕过：无缝绕过反机器人服务，使用户能够抓取难以访问的页面。
• 快速可靠：快速检索完整的页面源代码，不受目标站点复杂性的影响。
• 代理灵活性：默认使用随机的欧洲代理，但可以指定所需国家/地区（DE, US, GB, FR, AU, PL, LT, FI, TW）。此外，可以请求将几乎任何国家/地区添加到此列表中。

端点

1. POST /getPageSource

   • 描述：获取网页的完整 HTML 源代码。
   • 参数：
     • url (字符串，必需)：要获取的网页 URL。
     • proxy_country (字符串，可选)：如果未设置代理，服务将自动使用来自欧洲国家的随机代理。可以指定所需国家/地区（DE, US, GB, FR, AU, PL, LT, FI, TW）。

2. POST /getImage

   • 描述：以字节流形式返回所提供 URL 的图像。
   • 参数：
     • url (字符串，必需)：要获取的图像的 URL。
     • proxy_country (字符串，可选)：如果未设置代理，服务将自动使用来自欧洲国家的随机代理。可以指定所需国家/地区（DE, US, GB, FR, AU, PL, LT, FI, TW）。

其他信息

• 如果需要更多流量和更优惠的价格，可以请求私人计划。
• 更多有用的功能已准备就绪，并将很快推出。

搜集汇总

背景与挑战

背景概述

ScrapeUnblocker 是一个用于快速绕过反爬虫服务的数据集，支持在数秒内获取任意URL的完整页面源代码。