Comprehensive set of Sitemap and robots.txt links extracted from Common Crawl

This is a comprehensive list of links to sitemaps and robots.txt files, which are extracted from the latest WARC Archive dump 2023-50 of robots.txt files. Sitemaps: 32,252,027 links (all ending with .xml or .xml.gz); 395.2 MB (compressed) Website categories; 2.2 MB (compressed) Top level labels of Curlie.org directory Number of sitemap links Arts 20110 Business 68690 Computers 17404 Games 3068 Health 13999 Home 4130 Kids_and_Teens 2240 News 5855 Recreation 19273 Reference 10862 Regional 419 Science 10729 Shopping 29903 Society 35019 Sports 12597 Robots.txt files: 41,611,704 links; 440.9 MB (compressed) Website categories; 2.7 MB (compressed) Top level labels of Curlie.org directory Number of robots.txt links Arts 25281 Business 79497 Computers 21880 Games 5037 Health 17326 Home 5401 Kids_and_Teens 3753 News 3424 Recreation 26355 Reference 15404 Regional 678 Science 16500 Shopping 30266 Society 45397 Sports 18029本数据集为一份全面的站点地图（Sitemaps）与robots.txt文件链接汇总集，数据提取自2023年第50期最新robots.txt文件WARC归档（WARC Archive）转储包。 ### 站点地图（Sitemaps） 共包含32,252,027条链接（所有链接均以.xml或.xml.gz结尾），压缩后总容量为395.2 MB；附带的网站分类信息压缩后大小为2.2 MB。 #### Curlie.org目录顶级分类标签对应的站点地图链接数量： 艺术（Arts）：20110 商业（Business）：68690 计算机（Computers）：17404 游戏（Games）：3068 健康（Health）：13999 家庭（Home）：4130 儿童与青少年（Kids_and_Teens）：2240 新闻（News）：5855 休闲娱乐（Recreation）：19273 参考资料（Reference）：10862 地区性（Regional）：419 科学（Science）：10729 购物（Shopping）：29903 社会（Society）：35019 体育（Sports）：12597 ### Robots.txt文件 共包含41,611,704条链接，压缩后总容量为440.9 MB；附带的网站分类信息压缩后大小为2.7 MB。 #### Curlie.org目录顶级分类标签对应的robots.txt链接数量： 艺术（Arts）：25281 商业（Business）：79497 计算机（Computers）：21880 游戏（Games）：5037 健康（Health）：17326 家庭（Home）：5401 儿童与青少年（Kids_and_Teens）：3753 新闻（News）：3424 休闲娱乐（Recreation）：26355 参考资料（Reference）：15404 地区性（Regional）：678 科学（Science）：16500 购物（Shopping）：30266 社会（Society）：45397 体育（Sports）：18029