ranWang/UN_Sitemap_Multilingual_HTML_Corpus
收藏Hugging Face2023-06-15 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/ranWang/UN_Sitemap_Multilingual_HTML_Corpus
下载链接
链接失效反馈官方服务：
资源简介：
此数据集是从联合国网站提供的sitemap中爬取的，包含了各种语言的HTML文件，并按照语言进行分类。数据集包含了不同语言的文章、新闻等联合国文本。数据集旨在为研究人员、学者和语言技术开发人员提供一个多语言文本集，可用于各种自然语言处理任务和应用。数据集包括以下语言：汉语（zh）、英语（en）、西班牙语（ar）、俄语（ru）、西班牙语（es）、法语（fr）。
此数据集是从联合国网站提供的sitemap中爬取的，包含了各种语言的HTML文件，并按照语言进行分类。数据集包含了不同语言的文章、新闻等联合国文本。数据集旨在为研究人员、学者和语言技术开发人员提供一个多语言文本集，可用于各种自然语言处理任务和应用。数据集包括以下语言：汉语（zh）、英语（en）、西班牙语（ar）、俄语（ru）、西班牙语（es）、法语（fr）。
提供机构：
ranWang
原始信息汇总
数据集概述
数据集名称
UN Sitemap Multilingual HTML Corpus
数据集内容
该数据集包含多种语言的HTML文件，主要来源于联合国网站的sitemap，包括文章、新闻等文本内容。
语言分类
- 汉语（zh）
- 英语（en）
- 阿拉伯语（ar）
- 俄语（ru）
- 西班牙语（es）
- 法语（fr）
数据集结构
数据特征
- uuid: 字符串类型
- url: 字符串类型
- title: 字符串类型
- html_content: 字符串类型
数据分割
- zh: 39850个例子，总大小4667272633字节
- en: 67374个例子，总大小8180560380字节
- ar: 35807个例子，总大小4456751663字节
- ru: 34774个例子，总大小4311781034字节
- es: 44877个例子，总大小5336518150字节
- fr: 46756个例子，总大小5709424711字节
数据集大小
- 下载大小: 0字节
- 数据集总大小: 32662308571字节
数据实例示例
{ uuid: a154688c-b385-4d2a-bec7-f239f1397d21, url: https://news.un.org/zh/gallery/287612, title: 印度尼西亚承诺到2022年消除一切形式的童工现象， html_content: <!DOCTYPE html> <html lang="zh-hans" ... }
