Aramente/eu-tech-jobs

每日更新的欧盟AI/科技和远程工作机会的开放数据源。包含最新的工作列表、公司列表、历史快照等，详细记录了职位ID、公司名称、职位标题、URL、地点、国家、远程政策、资历要求、角色类别、薪资范围、技术栈等信息。数据通过GitHub Actions每日从公共ATS API和欧盟工作聚合器获取，公司信息通过源仓库中的YAML文件进行管理。

Daily-updated open-data feed of jobs from EU AI/tech and remote-EU companies. Includes the latest job listings, company lists, historical snapshots, etc., with detailed records of job IDs, company names, job titles, URLs, locations, countries, remote policies, seniority requirements, role categories, salary ranges, tech stacks, and more. The data is fetched daily from public ATS APIs and EU job aggregators via GitHub Actions, with company information managed through YAML files in the source repository.

搜集汇总

数据集介绍

构建方式

该数据集由每日自动运行的GitHub Actions工作流在CET时间07:00启动，通过调用Greenhouse、Lever、Ashby、Workable等公开ATS接口以及欧盟职位聚合器，系统性抓取欧洲AI与科技企业的招聘信息。数据以YAML文件形式维护公司名录，支持社区提交PR扩展，随后经管道清洗、去重、标准化后，生成Parquet格式的快照、历史归档与每日差分文件。构建过程强调开源透明，所有代码基于MIT许可，数据以CC BY 4.0开放。

使用方法

用户可通过Python的pandas库直接读取远程Parquet文件，例如使用pd.read_parquet方法加载最新职位快照，并利用DataFrame筛选功能按地点、远程政策或技术栈等条件查询。支持DuckDB等SQL引擎对远程Parquet执行聚合分析。RSS 2.0订阅源提供新增职位实时推送。数据文件结构清晰，包括jobs、companies及metadata表，便于多表关联分析，适用于劳动力市场研究、招聘趋势监测或算法匹配实验。

背景与挑战

背景概述

eu-tech-jobs数据集由独立研究者Kevin Duchier于2023年创建，依托GitHub Actions自动化流水线，每日从Greenhouse、Lever等主流ATS系统及欧盟科技招聘聚合器中抓取职位信息，形成开放数据源。该数据集聚焦于欧盟及远程欧盟地区的AI、工程、数据等科技岗位，涵盖职位描述、薪酬透明度、远程政策、技术栈等结构化字段，旨在弥合欧洲科技劳动力市场的数据鸿沟。通过提供持续更新的标准化历史快照与差异分析，该数据集为劳动经济学分析、人才流动建模及招聘趋势研究提供了可复现的基础设施，有效推动了开放数据在人力资源领域的应用。

当前挑战

该数据集面临的核心挑战源于欧洲多元化的劳动法规与语言环境。不同国家间薪酬披露政策差异显著，导致薪资字段缺失率较高，影响经济分析的完整性。职位描述的跨语言处理（英语与其他欧洲语种混用）增加了文本分类与技能提取的难度。同时，ATS系统API的异构性与接口变更频繁，迫使管道需要持续适配，且日志分析显示部分公司对爬取行为存在突发性封锁。数据去重与职位状态跟踪（如职位关闭的判断）在实时流式场景下需要平衡精确度与计算成本，确保历史快照的一致性成为工程难题。

常用场景

经典使用场景

该数据集广泛用于分析欧洲科技劳动力市场的动态演变，特别是在人工智能和远程办公领域。研究者常通过其结构化的职位快照与历史差分数据，探索不同国家、城市及公司类型对技术岗位需求的影响，追踪技能需求随时间的变化趋势，以及评估远程工作政策的普及程度与薪资差异。作为每日更新的开放数据源，它为劳动力经济学、地理信息系统与人力资源管理的交叉研究提供了扎实的实证基础。

解决学术问题

该数据集显著缓解了欧洲科技就业领域长期存在的高质量、细粒度公开数据匮乏的困境。传统研究多依赖调查问卷或商业化招聘平台的受限数据，难以实现跨公司、跨国界及跨时间的系统比较。eu-tech-jobs 通过整合多个主流ATS系统的标准化字段，使学者能够量化地检验技术岗位的分布规律、薪资透明度与地域歧视等议题，推动了实证劳动经济学与计算社会科学在就业市场分析中的方法论进步。

实际应用

在实际应用中，该数据集支撑了智能招聘分析平台与区域就业监测系统的构建。企业人力资源部门可借助其对标同类公司的岗位设置、薪酬水平与远程办公策略；政策制定者能通过历史快照追踪特定技术领域（如机器学习）的人才流向，进而优化本地教育投资与人才引进政策。此外，求职者也可通过该数据集的RSS订阅或结构化查询快速发现匹配自身技能与工作偏好的新职位。

数据集最近研究

最新研究方向

eu-tech-jobs数据集围绕欧洲人工智能与科技行业的就业市场动态，构建了一个每日更新的开放数据资源，为追踪前沿研究方向提供了关键支撑。该数据集不仅涵盖了从多个主流ATS系统（如Greenhouse、Lever、Ashby等）中提取的结构化职位信息，还引入了远程工作政策、薪资披露、签证赞助等细粒度标签，这使得研究者能够深入分析欧洲科技人才流动趋势、远程办公普及率及其对区域就业格局的影响。在当前全球AI人才争夺战持续升温的背景下，eu-tech-jobs成为量化欧盟技术岗位供需变化、评估不同国家科技生态竞争力以及理解企业招聘策略演变的核心工具。通过对历史快照与差分数据的纵向对比，该数据集赋能了从岗位技能需求变化到企业扩张时序建模的一系列前沿探索，为政策制定者和劳动力市场研究者提供了不可多得的实证基础。