Web Scraper API

The Web Scraper API is a versatile tool that allows you to extract data from any webpage with ease. Using simple GET requests, it retrieves web page content, metadata, images, and more.

Web Scraper API是一款多功能工具，可让您轻松从任何网页提取数据。通过简单的GET请求，它能够检索网页内容、元数据、图像等信息。

原始信息汇总

Web Scraper API 数据集概述

基本信息

• API名称: Web Scraper API
• 提供商: Mahmudul Hasan
• 订阅者数量: 30
• 类别: Tools
• API版本: v1 (current)
• API地址: https://web-scraper-api2.p.rapidapi.com/web
• 订阅计划:
  • BASIC: $0.00 / mo
  • PRO: $5.00 / mo
  • ULTRA: $10.00 / mo
  • MEGA: $199.00 / mo

主要功能

1. 任意网站抓取: 支持从任何公开网页抓取数据，包括动态和复杂网站。
2. 详细元数据提取: 提取标题、元描述、关键词和规范URL。
3. 媒体提取: 提取图片和视频URL。
4. 动态选择抓取器: 根据需求选择最合适的抓取器或请求专用抓取器。
5. RapidAPI集成: 通过RapidAPI平台无缝集成。

使用场景

1. 电子商务分析: 抓取竞争对手的价格、产品描述和评论。
2. 市场研究: 从行业领先网站提取关键数据。
3. SEO优化: 分析高排名网站的元数据和关键词结构。
4. 内容聚合: 收集图片、文章或产品详情。
5. 学术研究: 从在线图书馆或数据丰富的平台获取结构化信息。

调用方法

请求示例

• 端点: GET https://web-scraper-api2.p.rapidapi.com/web?url={target_url}
• 请求头:
  • x-rapidapi-host: web-scraper-api2.p.rapidapi.com
  • x-rapidapi-key: <YOUR_RAPIDAPI_KEY>

示例响应

json { "original_status": 200, "pc_status": 200, "url": "https://www.amazon.com/", "body": { "title": "Amazon.com. Spend less. Smile more.", "favicon": "https://www.amazon.com/favicon.ico", "meta": { "description": "Free shipping on millions of items...", "keywords": "Amazon, Online Shopping, Books..." }, "images": [ "https://images-na.ssl-images-amazon.com/images/G/01/US-hq/2024/img/Events/XCM_CUTTLE_1794506_4218869_200x200_1X_en_US_ENHeadphones.CB543173343.jpg" ], "canonical": "https://www.amazon.com/" } }

支持的语言和库

1. cURL
2. Python (Requests Library)
3. Node.js (Axios Library)