Shopee Product Dataset

结构化、易于分析的Shopee产品数据集，用于电子商务研究、市场情报、价格分析、竞争对手监控和产品发现。该数据集包含多个市场（如台湾、新加坡、马来西亚等）的产品信息，提供JSON、CSV、Excel等多种格式，支持定制字段和定期更新。

Structured and analytics-friendly Shopee product dataset tailored for e-commerce research, market intelligence, price analysis, competitor monitoring and product discovery. This dataset includes product information from multiple markets such as Taiwan, Singapore, Malaysia and other regions, and is offered in multiple formats including JSON, CSV, Excel and more, with support for customizable fields and regular updates.

原始信息汇总

数据集概述

数据集名称：Shopee Product Dataset（虾皮商品数据集）

数据集地址：https://github.com/zhezhouhongen/shoeep_Dataset

核心用途：面向电商研究、市场情报、定价分析、竞品监控和产品发现的结构化、分析就绪的虾皮（Shopee）商品数据。

数据集内容

• 数据来源：公开可获取的虾皮（Shopee）平台商品信息。
• 支持市场：台湾、新加坡、马来西亚、印尼、泰国、越南、菲律宾、巴西、哥伦比亚、智利、阿根廷、柬埔寨、老挝（不同市场字段覆盖度可能不同）。
• 包含字段（视市场与品类而定）：
  • 国家/市场、搜索关键词
  • 商品ID、店铺ID
  • 商品标题、商品描述
  • 当前价格、最低价格、最高价格、原价、货币
  • 折扣信息、历史销量
  • 商品评分、评分数量
  • 商品图片、品牌、品类路径
  • 店铺位置、商品状况
  • SKU/规格名称、型号ID、SKU价格
  • 库存情况、预计发货天数、预售状态
  • 采集时间戳、原始结构化商品元数据
• 数据量：本仓库仅提供有限样本数据，完整数据集需另行联系索取。

数据格式与交付

• 可用格式：JSON、JSONL、CSV、Excel、自定义数据库schema、API或定时文件交付。
• 交付方式：GitHub Release、私有云存储、Google Drive、S3兼容存储、安全文件传输、邮件（小样本）、定时交付、自定义API集成。

示例记录（简化）

json { "country": "tw", "keyword": "iphone 16", "item_id": "example_item_id", "shop_id": "example_shop_id", "name": "Apple iPhone 16 128GB", "price": 15500, "price_min": 15500, "price_max": 17500, "currency": "TWD", "sold": 25, "rating_star": 4.9, "rating_count": 68, "brand": "Apple", "categories": ["Mobile & Accessories", "Mobile Phones"], "shop_location": "New Taipei City", "sku_count": 4, "has_stock": true, "crawl_time": 1783156967 }

应用场景

• 竞品价格监控
• 产品与品类研究
• 跨市场价格对比
• 品牌与店铺分析
• 市场趋势分析
• 产品供货追踪
• SKU与规格分析
• 电商数据看板
• 数据科学与机器学习
• 基于公开商业信息的潜在客户挖掘
• 学术与商业研究

定制采集服务

可针对以下条件进行定制：

• 特定关键词、商品品类、店铺/卖家列表、商品ID列表
• 多市场覆盖
• 日/周/月更新频率
• 价格与库存监控
• 自定义输出字段
• 去重与标准化
• 翻译与语言规范化
• 数据库就绪导出

数据质量

采集管线包含：去重、价格归一化、货币保留、品类归一化、SKU提取、Unicode与表情支持、无效记录过滤、时间戳标记、可选个人数据移除、JSON schema验证。

定价

定价取决于：市场数量、记录数量、数据复杂度、所需字段、采集频率、交付方式、定制处理需求。

重要声明

• 本项目与Shopee或Sea Limited无任何关联、背书或赞助。
• 数据集仅包含公开可获取的产品信息。
• 不包含账号凭据、私信、支付信息、认证token、cookies或非公开个人数据。

许可

• 源代码使用单独的许可证（见仓库内LICENSE文件）。
• 数据集使用条款见DATA_LICENSE.md文件。
• 未经书面许可，不得商业分发完整数据集。

搜集汇总

数据集介绍

构建方式

Shopee Product Dataset 从东南亚及拉美多国电商平台 Shopee 上采集公开商品信息构建而成。数据采集覆盖台湾、新加坡、印尼、巴西等十余个市场，支持按关键词、产品类目、店铺或商品 ID 进行定向收集。系统对原始字段进行去重、价格归一化、类别标准化、SKU 提取等清洗处理，并去除个人隐私信息。最终输出为 JSON、CSV 或数据库等结构化格式，支持按日、周或月度的增量更新。

使用方法

使用者可直接下载本仓库存放的样本数据以验证字段结构与格式。对于完整数据集，可通过邮件或 Telegram 联系提供关键词、目标市场与字段需求，获取按需生成的 CSV、JSONL 或数据库导出文件。数据可导入 Python、Excel、BI 工具或机器学习框架中执行竞争定价、跨市场对比、趋势分析与商品发现等任务，AI 或 API 集成可实现自动化监控与看板构建。

背景与挑战

背景概述

Shopee作为东南亚与拉美地区领先的电商平台，其蕴含的海量商品数据为电子商务研究、市场情报分析及机器学习应用提供了丰沃的土壤。Shopee Product Dataset始建于近年，由独立研究者周鸿恩主导，旨在系统性地收集并结构化Shopee平台上公开的商品信息，构建一个具备高分析就绪度的数据集。该数据集的核心研究问题聚焦于跨市场商品价格监测、品类趋势分析、品牌与卖家竞争格局挖掘，以及电商数据科学工作流的验证。其发布后，显著降低了研究者获取清洁、结构化电商数据的门槛，为竞争对手监控、多市场价格对比及学术研究提供了关键的数据支撑，在电商数据分析与商业智能领域形成了独特的影响力。

当前挑战

该数据集所面临的挑战主要体现在领域问题与构建过程两个层面。在领域层面，电商数据固有的动态性导致价格、库存与评分等字段频繁波动，数据时效性难以保障，同时跨市场间的货币、品类与语言差异也增加了标准化分析的复杂性。在构建过程中，首要挑战在于数据源的合法合规采集，需严格遵守平台反爬协议与隐私法规，避免采集非公开或敏感信息；其次，数据清洗与去重任务艰巨，面对海量SKU、多源异构数据（如JSON与结构化元数据），需设计鲁棒的流水线以剔除重复、不规范记录并进行价格归一化；再者，市场覆盖范围扩展也带来了多语言支持与类别映射的工程难题，进一步加剧了数据质量管控的难度。

常用场景

经典使用场景

在电子商务研究领域，Shopee Product Dataset为市场趋势分析与价格监测提供了基础数据支撑。研究人员可据此开展跨市场的同类商品价格比对，追踪特定品类中商品价格、销量与评分的动态变化，并构建反映折扣力度与库存周转率的指标体系。通过结构化字段如历史销量、库存状态与SKU变体信息，该数据集支持细粒度的商品层级分析，尤其适用于东南亚及拉美新兴市场的电商竞争格局研究。

解决学术问题

该数据集有效缓解了电商研究中因数据碎片化与获取门槛高导致的可重复性危机。传统学术实践中，研究者常受限于平台反爬机制或数据清洗成本，难以获得多市场、长周期的可比数据。Shopee Product Dataset通过统一字段规范与多市场覆盖，使得定价策略、品牌溢价效应与跨区域消费行为差异等议题的研究具备了可量化基础，进而推动了电商经济学与计算社会科学领域的实证创新。

实际应用

在商业实践中，该数据集被广泛用于竞品动态监控与库存优化决策。运营团队可基于每日或每周更新的价格、库存与预售状态数据，实时调整自身商品定价策略与采购计划。同时，该数据支持面向特定店铺或品类的定制化采集，为独立卖家与品牌方提供市场准入前的竞争位势评估。此外，集成至BI工具后，企业能够构建自动化的电商仪表盘，实现从数据采集到策略执行的全链路闭环。

数据集最近研究

最新研究方向

在电子商务数据驱动决策的浪潮中，Shopee Product Dataset为跨市场价格比对、竞争态势监测及消费者行为洞察提供了结构化、可分析的高质量产品数据支撑。当前研究前沿聚焦于利用该数据集进行多市场动态定价模型的构建，结合折扣信息与历史销量数据实现实时价格预测与库存优化；同时，其丰富的商品属性字段（如SKU变体、店铺评级、预售状态）正被广泛用于基于图神经网络的推荐系统优化，以及通过时序数据挖掘电商平台的大促活动对销量与评分的冲击效应。此外，该数据集在东南亚及拉美新兴市场的覆盖，为区域经济比较与全球化选品策略提供了实证基础，推动了从定性描述到定量建模的电商研究范式转型。