manzked/ds-huffpost-news-article-links

该数据集包含超过100万个HuffPost新闻文章的链接。这些链接是通过读取网站的sitemap.xml文件进行爬取的，旨在教育性地学习如何通过读取网站的sitemap来收集内容。数据集还提供了用于爬取这些链接的代码，并详细描述了爬虫的工作流程，包括加载robots.txt、检测sitemap、获取URL等步骤。该数据集包含超过100万个HuffPost新闻文章的链接。这些链接是通过读取网站的sitemap.xml文件进行爬取的，旨在教育性地学习如何通过读取网站的sitemap来收集内容。数据集还提供了用于爬取这些链接的代码，并详细描述了爬虫的工作流程，包括加载robots.txt、检测sitemap、获取URL等步骤。

原始信息汇总

数据集概述

数据集名称

• huffpost news article dataset

数据集描述

• 包含超过100万个链接，指向HuffPost新闻文章。
• 数据集通过阅读网站的sitemap(s)进行爬取，主要用于教育目的，展示如何通过sitemap.xml收集网站内容。

数据集规模

• 包含1,121,569个唯一链接。

数据集标签

• news
• article
• links

数据集大小分类

• 1M<n<10M

数据集用途

• 教育目的，展示如何使用sitemap.xml进行网站爬取。