boss_直聘岗位信息爬取

任务：使用Scrapy框架采集boss直聘网站互联网/AI领域全站岗位信息。项目难点：分页爬取、selenium动态页面加载、parse函数请求传参、mysql数据库存储。技术栈：Scrapy、selenium、Http协议、Xpath数据解析。开源链接：https://github.com/Mungeryang/boss_data

Task: Scrape full-site job posting data in the Internet and AI sectors from the Zhipin Boss website using the Scrapy framework.
Project challenges: Pagination crawling, dynamic page loading via Selenium, request parameter passing in the parse function, and MySQL database storage.
Technology stack: Scrapy, Selenium, HTTP protocol, and XPath data parsing.
Open-source repository link: https://github.com/Mungeryang/boss_data

搜集汇总

背景与挑战

背景概述

该数据集是通过scrapy爬取的boss直聘网站互联网领域内的岗位描述信息，以.csv格式保存，适用于文本分类、特征抽取等自然语言处理训练任务。数据集聚焦于互联网行业的招聘数据，为相关NLP研究提供了结构化文本资源。