manzked/ds-huffpost-news-article-links
收藏Hugging Face2024-05-29 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/manzked/ds-huffpost-news-article-links
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含超过100万个HuffPost新闻文章的链接。这些链接是通过读取网站的sitemap.xml文件进行爬取的，旨在教育性地学习如何通过读取网站的sitemap来收集内容。数据集还提供了用于爬取这些链接的代码，并详细描述了爬虫的工作流程，包括加载robots.txt、检测sitemap、获取URL等步骤。
该数据集包含超过100万个HuffPost新闻文章的链接。这些链接是通过读取网站的sitemap.xml文件进行爬取的，旨在教育性地学习如何通过读取网站的sitemap来收集内容。数据集还提供了用于爬取这些链接的代码，并详细描述了爬虫的工作流程，包括加载robots.txt、检测sitemap、获取URL等步骤。
提供机构：
manzked
原始信息汇总
数据集概述
数据集名称
- huffpost news article dataset
数据集描述
- 包含超过100万个链接，指向HuffPost新闻文章。
- 数据集通过阅读网站的sitemap(s)进行爬取，主要用于教育目的，展示如何通过sitemap.xml收集网站内容。
数据集规模
- 包含1,121,569个唯一链接。
数据集标签
- news
- article
- links
数据集大小分类
- 1M<n<10M
数据集用途
- 教育目的，展示如何使用sitemap.xml进行网站爬取。
