Upwork Market Index

这是一个免费、每周更新的Upwork自由职业者就业市场数据集，包含预算、费率、类别需求和客户国家细分等统计数据，通过官方Upwork API自动收集和更新，适用于研究、分析和机器学习训练。This is a free, weekly-updated Upwork freelance job marketplace dataset that contains statistical data including budgets, hourly rates, category demands, and customer country breakdowns, and is automatically collected and updated via the official Upwork API. It is suitable for research, analysis, and machine learning training.

原始信息汇总

数据集概览

Upwork Market Index 是一个免费、持续更新的数据集，记录了 Upwork 自由职业市场的每周统计数据。

数据来源与更新

• 数据提供方：由 SnipeWork 通过 Upwork 官方 API 持续扫描公开的职位发布而生成。
• 更新频率：每周一通过 GitHub Actions 自动更新。
• 数据覆盖：包含每周成千上万条实时 Upwork 职位发布的聚合统计。

数据文件

数据集包含三个 CSV 文件，均位于 data/ 目录下：

文件	粒度	描述
weekly.csv	每周一行	核心指标：扫描职位数、平均/中位数固定预算、平均时薪、固定 vs 时薪项目比例、经验水平需求
categories.csv	周 × 类别	每个 Upwork 类别下的职位数、市场份额、预算和时薪
countries.csv	周 × 国家	每周客户来源国的职位数量排名

核心字段说明（weekly.csv）

• week：ISO 周标识，如 2026-W29
• period_start / period_end：周起止日期（UTC，周一至周日）
• jobs_scanned：该周观察到的职位发布数量
• avg_fixed_usd：平均固定价格预算（美元）
• median_fixed_usd：中位数固定价格预算（美元）
• avg_hourly_usd：平均时薪（美元/小时）
• fixed_share / hourly_share：固定价格与按小时计费项目的比例（0-1）
• entry_share / intermediate_share / expert_share：经验水平需求分布（0-1）
• is_partial：标记该周数据是否仍在收集中（1表示未完成）

许可与引用

• 许可协议：Creative Commons Attribution 4.0 (CC-BY-4.0)
• 引用方式：如需使用，请注明来源：Data: SnipeWork Upwork Market Index - CC-BY-4.0

其他信息

• 外部访问：可通过 snipework.com/market/index 查看人类可读报告，或通过 snipework.com/api/market/index 获取实时 JSON API。
• 收集方法：仅统计公开职位发布的聚合数据，不包含个人身份信息、客户名称或自由职业者身份。

搜集汇总

数据集介绍

构建方式

该数据集源自SnipeWork平台对Upwork官方GraphQL API的持续扫描。每一条公开的Upwork职位帖子都被实时抓取，并在每个ISO周（周一至周日，UTC时间）结束时进行聚合统计。在预算计算上，采用报价区间的中间值；对于时薪超过500美元或预算为零的异常值予以剔除。类别份额仅基于已知类别的职位进行计算。当前周的数据逐日更新，并于周日夜间最终确定，过往周次的数据则固定不变。整个数据采集与聚合流程通过GitHub Actions实现每周一自动更新发布，确保数据的新鲜度与可靠性。

特点

该数据集作为公开、持续更新的Upwork自由职业市场晴雨表，具备鲜明特质。它是唯一记录Upwork平台每周市场动态的耐久公共数据集，涵盖了平均与中位数固定预算、平均时薪、固定项目与时薪项目的占比、经验等级需求分布等核心指标。数据以周度、类别与客户国家三个维度呈现，通过weekly.csv、categories.csv和countries.csv文件提供细腻粒度的市场全景。尤为突出的是，该数据集不包含任何个人身份信息、客户名称或自由职业者标识，仅发布聚合后的市场统计，既保护隐私又富有洞察力。

使用方法

研究者与开发者可通过多种途径便捷使用该数据集。最直接的方式是使用pandas读取GitHub上托管的CSV文件：通过`pd.read_csv()`加载weekly.csv即可获取每周市场趋势，例如绘制平均固定预算随时间变化的曲线。JavaScript用户可以借助fetch API直接获取CSV文本。此外，数据集还提供了实时JSON API接口，可通过`curl`命令直接访问最新数据，或指定文件参数获取特定维度的数据。所有数据均采用CC-BY-4.0许可协议，允许在署名来源的前提下自由用于研究、新闻报道、可视化仪表板乃至机器学习训练等任何用途。

背景与挑战

背景概述

Upwork Market Index数据集由SnipeWork团队于持续更新的基础上创建，聚焦于解析自由职业市场这一日益重要的经济形态。随着零工经济的蓬勃兴起，Upwork作为全球领先的自由职业平台，其动态数据对于洞察劳动力市场趋势、评估技能需求演变具有不可替代的价值。然而，该平台并未主动公开其市场统计数据，且原始职位发布在数天内即从公共视野中消失，导致这一领域的系统性研究长期面临数据匮乏的困境。该数据集通过官方API每周扫描数千条活跃职位，汇总出平均预算、时薪、类别需求及客户国家分布等关键指标，填补了自由职业市场公开数据的空白。自发布以来，它已为经济学家、政策制定者及数据科学家提供了可靠的实证基础，推动了对零工经济结构特征的量化理解，并激发了关于远程工作模式、技能溢价及全球劳务协作的深入探讨。

当前挑战

该数据集面临的核心挑战在于数据采集的完整性、代表性及动态变化的捕捉。首先，自由职业市场的高度碎片化使得单一平台的数据难以完全反映整体行业生态，Upwork上的职位分布偏向特定领域（如科技与创意服务），可能隐含系统性偏差，影响外部效度。其次，构建过程中需应对技术性难题：通过API连续抓取时需处理速率限制、数据格式不一致及分类标签的模糊性；同时，预算范围的估计（基于中值而非实际成交价）和异常值的剔除（如时薪超过$500或零预算条目）虽确保数据洁净，却可能弱化极端值对市场波动的表征力。此外，职位发布的短暂生命周期（数天内消失）要求采集系统具备高时效性，任何延迟均会导致样本缺失；而每周聚合的统计方式难以捕捉季节性或政策驱动下的日内波动，限制了细粒度分析的可能性。

常用场景

经典使用场景

在数字经济蓬勃发展的背景下，自由职业平台已成为全球劳动力市场中不可或缺的组成部分。Upwork Market Index数据集作为唯一持续更新的开放数据集，系统性地记录了Upwork平台每周的海量实时职位发布信息，涵盖平均预算、时薪费率、类别需求及客户国家分布等核心指标。研究者可借助该数据集追踪自由职业市场的宏观趋势，例如分析不同技能类别（如IT、法律、数据科学）的薪酬水平差异，或揭示固定价格与按时计酬职位比例的时间演变规律，从而构建对全球零工经济生态的量化认知。

解决学术问题

传统劳动经济学研究常受限于官方统计数据的滞后性与粗粒度，难以捕捉在线自由职业市场的动态特征。该数据集通过提供高频率、细颗粒度的周度聚合数据，有效填补了这一空白，使学者能够探究零工经济中的供需变动、技能溢价演变以及跨国客户分布格局。其关键意义在于，为分析远程工作的市场化定价机制、验证搜索与匹配理论在数字化平台上的适用性提供了可靠的实证基础，推动了劳动经济学与计算社会科学的交叉创新。

衍生相关工作

该数据集的持续发布催生了一系列衍生学术与应用成果。例如，研究人员可以基于周度时间序列构建预测模型，预判特定类别预算的短期波动或季节性模式；量化分析师则可利用类别与国家的交叉分组数据，开展聚类分析以刻画不同市场区块的异质性特征。此外，数据可视化爱好者借助其结构化CSV文件开发了交互式仪表盘，实时呈现自由职业市场景气指数；而机器学习从业者则将其作为训练零工经济退房预警模型的特征库，进一步拓展了该数据集在预测性分析领域的应用边界。