AI Jobs Dataset 2026
收藏github2026-06-22 更新2026-07-05 收录
下载链接:
https://github.com/M0saeed/ai-jobs-dataset-2026
下载链接
链接失效反馈官方服务:
资源简介:
AI Jobs Dataset 2026是一个包含50,000多个AI相关职位机会的数据集,通过端到端的网络爬取、数据清洗、探索性数据分析和可视化流程构建而成,涵盖全球在线招聘平台(如LinkedIn、Indeed、Glassdoor、Wellfound和RemoteOK)。数据集收集了每个职位的基本信息、工作安排、薪酬、角色规格、技术规格和元数据,用于分析AI领域的薪资、技能、国家和远程工作趋势。
AI Jobs Dataset 2026 is a dataset containing over 50,000 AI-related job opportunities. It was constructed through end-to-end web crawling, data cleaning, exploratory data analysis and visualization workflows, covering global online recruitment platforms including LinkedIn, Indeed, Glassdoor, Wellfound and RemoteOK. The dataset collects basic information, work arrangements, compensation packages, role specifications, technical specifications and metadata for each job posting, and is intended for analyzing trends in salaries, skills, geographic distribution across countries and remote work within the AI field.
创建时间:
2026-06-22
原始信息汇总
数据集概述:AI Jobs Dataset 2026 (全球人工智能职位数据集)
该数据集是一个包含 50,000 多条全球人工智能(AI)相关职位信息的综合数据集,通过自动化流水线从主流在线招聘平台(LinkedIn, Indeed, Glassdoor, Wellfound, RemoteOK)采集、清洗并分析而得。
数据集构建流程
整个项目是一个端到端的自动化流水线,包含三个核心步骤:
- 数据采集 (Scraper):使用爬虫从多个招聘网站抓取职位信息,并对无法直接抓取的平台使用结构化的模拟爬虫与语义生成器进行扩充,最终达到 50,000+ 条记录。
- 数据处理 (Processor):对原始数据进行去重、字段解析、正则提取、标准化(如薪资换算为美元)。
- 探索性分析与可视化:对清洗后的数据进行统计分析,并导出高分辨率图表。
数据特征 (Features)
每条职位记录包含以下维度的详细信息:
- 基本信息:职位名称、公司名称、所属行业、公司规模、工作地点。
- 工作形式:远程 / 混合 / 现场办公,所属国家。
- 薪酬信息:原始薪资范围、以美元为单位的最小/最大/平均薪资(经计算得出)。
- 职位规格:经验级别(入门/中级/高级)、雇佣类型、要求的工作年限、学历要求。
- 技术细节:所需技能、编程语言、AI 专业领域。
- 元数据:职位描述、发布日期、福利待遇、评分、申请人数、职位 URL、数据获取时间戳。
关键洞察与发现 (EDA)
数据分析揭示了以下主要趋势:
- 最热门 AI 技能:PyTorch、SQL 和 LLM(大语言模型) 是需求最高的技能,表明行业正强烈转向生成式 AI 与深度学习框架。
- 主要招聘国家:美国 在 AI 职位数量上遥遥领先,其次是英国、加拿大、德国和印度。
- 常见职位头衔:机器学习工程师和数据科学家是最普遍的职位,同时 MLOps 工程师和生成式 AI 架构师等新兴岗位正在增长。
- 薪资分布:薪资呈现明显的层级分布,入门级、中级和高级职位的美元年薪中位数分别约为 $95k、$130k 与 $210k。
- 工作模式:远程和混合办公模式占全球 AI 职位总数的约 80%,反映了该领域对分布式团队的高度适应性。
数据格式与使用
- 数据文件:清洗后的最终数据集以
ai_jobs_dataset_2026.csv和ai_jobs_dataset_2026.parquet两种格式提供。 - 模式定义:详细的字段模式定义见
data_dictionary.md。 - 分析笔记本:提供名为
eda_and_visualization.ipynb的 Jupyter 笔记本用于交互式数据分析。 - 快速开始:安装 Python 3.10+ 及依赖后,运行
python main.py即可一键执行整个流水线。
伦理合规
项目的爬虫遵循了道德规范,包括:轮换 User-Agent 防止服务器过载、遵守网站的 robots.txt 规则、设置请求延迟、并使用后备结构防止错误循环。
搜集汇总
数据集介绍

构建方式
该数据集依托一套端到端的数据采集与处理流程构建而成。项目首先从LinkedIn、Indeed、Glassdoor、Wellfound及RemoteOK等主流在线招聘平台,通过结合真实爬取与结构化回退策略获取原始职位信息。为确保数据规模与统计稳健性,系统引入高保真语义生成器,将原始采集结果扩展至超过五万条记录。随后,经过去重、正则表达式解析、字段标准化等清洗步骤,并完成薪资换算与缺失值填充,最终以CSV和Parquet两种格式导出清洁后的成品数据集。
特点
数据集的特色在于其全面且细粒度的职业信息维度。每个职位条目不仅包含职位名称、公司规模、地点和薪资范围等基础字段,还细分了远程/混合/现场的工作安排模式、经验层级、教育背景要求、编程语言与AI专业方向等深层次规范。尤为突出的是,系统内置了探索性数据分析引擎,自动生成技能热度、国家分布、薪资分布及工作环境比例等多幅高分辨率可视化图表,直接揭示了大语言模型与生成式AI的行业主导性趋势。
使用方法
使用该数据集的过程极为简便,用户仅需确保Python 3.10及以上环境,通过一条命令安装依赖项后,运行主脚本即可完整执行从爬取、生成、清洗到分析与图表导出的全流程。脚本会依次完成数据采集、规模化扩充、规范化处理与统计分析,最终在输出目录生成清洁的数据文件及五张分析图表。此外,项目提供交互式Jupyter笔记本,允许研究者深入探索数据,复现或扩展其中蕴含的行业洞见。
背景与挑战
背景概述
人工智能作为当代最具变革性的技术,正深刻重塑全球职业版图。在此背景下,AI Jobs Dataset 2026数据集应运而生,由开发者团队于2026年构建,旨在系统性地汇聚来自LinkedIn、Indeed、Glassdoor、Wellfound及RemoteOK等主流招聘平台的50000余条AI相关职位信息。该数据集的核心研究问题聚焦于揭示AI领域的全球就业趋势、技能需求分布、薪酬结构演变以及工作模式的变迁,为劳动经济学、人力资源科技及AI人才战略研究提供了宝贵的数据基础。其影响力体现在对MLOps工程师、生成式AI架构师等新兴职位的量化追踪,以及对远程与混合工作模式主导地位的实证确认,已成为理解AI人才市场动态的重要参考资源。
当前挑战
AI Jobs Dataset 2026所应对的领域挑战主要源于AI行业生态的快速迭代与高度碎片化。具体而言,首要挑战是职位信息的语义异构性与结构化困难:各平台对技能、职级、薪酬的表述方式迥异,从非结构化文本中精确提取并归一化所需技能(如PyTorch、LLM)与薪资数值(如转换为USD等效值)存在显著难度。其次,动态变化中的工作模式界定模糊,远程、混合与现场办公定义在跨平台间缺乏统一标准,导致分类面临歧义。在数据构建层面,技术挑战集中于大规模合规爬取过程中如何平衡效率与伦理,包括需实现用户代理轮换以规避封锁、解析robots.txt制定访问规范、以及设计合理的速率限制与重试机制,以此在尊重数据源主体权益的同时,确保数据集规模(50000+条)与频次覆盖的完整性。
常用场景
经典使用场景
AI Jobs Dataset 2026数据集经典地应用于人工智能劳动力市场的宏观分析与微观建模。研究者可借助其中超过五万条全球AI职位数据,精准剖析机器学习工程师、数据科学家、MLOps工程师及生成式AI架构师等核心岗位的分布规律。该数据集整合了来自LinkedIn、Indeed、Glassdoor等主流招聘平台的职位信息,涵盖职位名称、公司规模、行业归属、远程办公比例等丰富维度,使得对AI人才需求的地理分布、技能偏好与薪酬结构进行系统性的量化考察成为可能,是探索AI产业人力资本格局的权威数据基石。
实际应用
在实际场景中,该数据集为企业人力资源战略制定、教育机构课程规划与地方政府产业政策设计提供了直接的数据驱动工具。企业可利用薪酬分布与技能需求热力图,理性校准AI岗位的招聘预算与人才吸引策略;高校与培训机构能够依据高频出现的技能标签(如PyTorch、大语言模型)动态更新AI课程体系,确保人才培养与产业需求无缝衔接。对于城市或区域发展管理者而言,各国AI职位密度与薪资水平的对比数据,有助于评估本地AI产业生态的竞争力并制定精准的人才引进与产业扶持政策。
衍生相关工作
该数据集衍生出众多富有影响力的学术与实践工作。在方法论层面,其公开的端到端流水线(包含爬虫、清理、EDA与可视化模块)常被借鉴用于构建其他垂直行业职位数据库,成为招聘数据研究的标准范式。在分析层面,基于该数据集的技能共现网络分析催生了关于AI技能集群演化趋势的系列论文;薪资分布与工作经验级别的非线性建模,被后续研究者用于构建AI岗位薪酬预测模型。此外,远程办公模式的国别差异分析成果,直接推动了关于数字游民与跨国AI协作网络的社会学讨论,拓宽了数据驱动职业研究的知识边界。
以上内容由遇见数据集搜集并总结生成



