skill-demand-index

Datamata 技能需求指数数据集是一个每日更新的技术劳动力市场分析数据集，用于追踪数据、工程、产品、DevOps、安全和人工智能六大角色类别中各项技能的需求动态。数据集基于每日从公共申请人跟踪系统（如Greenhouse、Lever、Ashby）和聚合招聘板抓取的活跃技术职位列表构建，通过计算提及特定技能的职位列表占总活跃列表的百分比来量化技能需求份额。该数据集包含551行数据（截至2026年6月25日最新快照），每行代表一个特定日期、类别和技能的组合。核心字段包括：快照日期（snapshot_date）、角色类别（category）、标准化技能名称（skill）、技能所属族系（skill_group）、提及该技能的活跃职位数量（listing_count）、该类别当日总活跃职位数量（total_listings）、技能需求百分比（demand_pct，计算为listing_count/total_listings×100并四舍五入至0.1），以及将该技能列为硬性要求的职位数量（required_count，早期快照可能为空）。数据集适用于分析技术技能的市场需求趋势，识别各领域中最受追捧的技能，区分硬性要求与优先考虑的技能，并通过追加每日快照来追踪技能需求份额随时间的变化。数据以CSV格式提供，采用CC BY 4.0许可证，允许在注明出处的情况下自由使用和改编，包括商业用途。

The Datamata Skill Demand Index dataset is a daily updated technical labor market analysis dataset used to track the demand dynamics of various skills across six role categories: data, engineering, product, DevOps, security, and artificial intelligence. The dataset is constructed based on daily active technical job listings scraped from public applicant tracking systems (such as Greenhouse, Lever, Ashby) and aggregated job boards, quantifying skill demand share by calculating the percentage of active listings that mention specific skills out of the total active listings. The dataset contains 551 rows of data (latest snapshot as of June 25, 2026), with each row representing a combination of a specific date, category, and skill. Core fields include: snapshot date (snapshot_date), role category (category), standardized skill name (skill), skill group (skill_group), number of active job listings mentioning the skill (listing_count), total active job listings for that category on the day (total_listings), skill demand percentage (demand_pct, calculated as listing_count/total_listings×100 and rounded to 0.1), and the number of job listings that list the skill as a hard requirement (required_count, which may be empty in early snapshots). The dataset is suitable for analyzing market demand trends for technical skills, identifying the most sought-after skills in various fields, distinguishing between hard requirements and preferred skills, and tracking changes in skill demand share over time by adding daily snapshots. The data is provided in CSV format under the CC BY 4.0 license, allowing free use and adaptation, including commercial purposes, with attribution.

搜集汇总

数据集介绍

构建方式

该数据集的构建基于对公开求职追踪系统（如 Greenhouse、Lever、Ashby）及聚合招聘平台中活跃技术岗位列表的每日抓取。针对数据、工程、产品、DevOps、安全及人工智能六大角色类别，分别计算提及各技能的职位数占该类总活跃职位数的百分比，从而获得技能需求份额。每次快照覆盖所有类别与技能的最新数据，并记录了技能是硬性要求还是加分项，最终形成包含 541 行记录的每日更新数据集。

特点

该数据集以每日快照形式呈现技术技能需求动态，覆盖六大核心职业类别，并提供需求百分比、硬性要求出现次数等关键指标。其独特之处在于不仅展示技能的热度排名，还清晰区分硬性要求与加分项的差异，使用户能够洞察市场对技能的刚性需求程度。同时，通过持续追加每日快照，可追踪需求份额随时间的变化趋势。

使用方法

使用者可通过 Pandas 库直接从 HuggingFace Hub 读取 CSV 文件，例如使用 `pd.read_csv("hf://datasets/datamatastudios/skill-demand-index/skill-demand-index.csv")` 即可获取数据；也可借助 HuggingFace 的 `datasets` 库加载数据集。在此基础上，可对指定类别按需求百分比降序排列，快速识别当下最紧缺的技能，或对比不同技能的硬性要求占比以评估其关键性。

背景与挑战

背景概述

在瞬息万变的科技劳动力市场中，实时追踪技术技能的供需动态对于企业招聘策略、个人职业规划以及宏观经济分析至关重要。Datamata Skill Demand Index 数据集由 Datamata Studios 于2026年创建，旨在量化数据、工程、产品、DevOps、安全及人工智能六大领域中对特定技术技能的需求强度。该数据集通过每日从Greenhouse、Lever、Ashby等公开申请追踪系统及聚合招聘板抓取活跃技术职位信息，计算每项技能在对应类别职位广告中出现的频率（demand_pct），并区分硬性要求与偏好要求。其核心研究问题在于提供一种标准化、高频更新的技能需求指数，以填补传统劳动市场调查的滞后性，为招聘趋势分析和技能缺口识别提供数据基础。这一创新性指标已对劳动经济学、人力资源技术及教育课程设计等领域产生了显著影响。

当前挑战

构建该数据集面临的首要挑战在于所解决的领域问题：劳动市场技能需求数据的传统来源（如官方统计或调查问卷）往往存在数月至数年的发布延迟，无法反映技术领域的快速迭代，而该数据集需实现每日更新以捕捉实时动态。其次，构建过程本身遭遇多项技术难题：从异构的申请追踪系统中自动解析并标准化技能名称，确保跨平台的一致性；区分“硬性要求”与“偏好要求”的语义差异，避免数据噪声；处理职位列表的重复、过期或分类错误问题，以维护demand_pct的统计准确性。此外，覆盖率偏差也是一大挑战，数据集主要依赖英文招聘信息及特定系统，可能无法全面代表非英语市场或使用不同招聘平台的企业，从而影响结论的普适性。

常用场景

经典使用场景

在劳动经济学与人力资源研究的交叉领域中，该数据集被广泛用于量化技术技能的市场需求强度。研究者能够通过每日更新的招聘快照，追踪涵盖数据科学、工程、产品管理、DevOps、安全及人工智能六大类别的技能需求份额，并区分硬性要求与软性偏好。其高频时间序列特性尤其适合分析技术人才市场中技能需求的动态演化趋势。

衍生相关工作

该数据集已衍生出系列经典研究工作，包括技能共现网络的构建与演化分析，用以揭示技术栈内部的依赖关系；基于需求序列的短周期预测模型，用于预判特定技能的未来热度；以及技能需求与薪酬之间关联机制的实证研究。这些工作推动了计算社会科学领域中劳动力市场动态建模方法的发展，并催生了自动化技能需求预警系统的原型设计。

数据集最近研究

最新研究方向

在当前全球科技人才竞争白热化的背景下，该数据集精准捕捉了数据、工程、产品、DevOps、安全与人工智能六大领域技能需求的每日动态，为劳动力市场的实时监测提供了高颗粒度量化工具。前沿研究者正利用其‘硬性要求’字段，剖析技能从期望条件向准入门槛的转化趋势，尤其关注生成式AI爆发后，大模型调优与MLOps技能需求指数的剧烈攀升。该数据集还催生了基于时序波动的技能衰退预警模型，助力职业规划与课程设计前瞻迭代，其每日更新的高频特性，更使得企业招聘策略与个人技能投资得以同步市场脉搏，深刻重塑了技术生态系统的自适应演化路径。