recursal/MDN

MDN数据集是一个从MDN Web Docs网站上抓取的文本数据集，包含约5700万到4652万个令牌，主要用于训练大型语言模型和其他自然语言处理任务。数据集支持多种语言，包括英语、西班牙语、法语、日语、韩语、巴西葡萄牙语、俄语、简体中文和繁体中文。数据集的许可证是CC-BY-SA 2.5，由KaraKaraWitch创建并由Recursal.ai资助。

原始信息汇总

数据集概述

基本信息

• 数据集名称: MDN
• 数据集大小: 约57M Tokens (llama-2-7b-chat-tokenizer) / 约46.52M Tokens (RWKV Tokenizer)
• 语言:
  • 英语
  • 西班牙语
  • 法语
  • 日语
  • 韩语
  • 巴西葡萄牙语
  • 俄语
  • 简体中文
  • 繁体中文
• 许可证: cc-by-sa-3.0
• 任务类别:
  • 文本生成
  • 填充掩码
• 任务ID:
  • 语言建模
  • 掩码语言建模
• 源数据集: 原始数据

数据集描述

MDN是从MDN (Developer.mozilla.org)抓取的数据集，包含约57M Tokens (llama-2-7b-chat-tokenizer) / 约46.52M Tokens (RWKV Tokenizer)。该数据集主要用于训练大型语言模型和其他自然语言处理任务。

数据实例

数据集中的数据实例格式如下： json { "title": "Game development", "text": "

Game development

Gaming is one of the most popular computer activities. New technologies are constantly arriving to make it possible to develop better and more powerful games that can be run in any standards-compliant web browser.

Develop web games

Welcome to the MDN game development center! In this area of the site, we provide resources for web<...TRUNCATED>" }

数据处理

数据集的抓取和处理步骤如下：

1. 从MDN的sitemap.xml获取页面列表并手动下载。
2. 对每个sitemap进行网站抓取，保存原始html响应以进行进一步过滤和清理。
3. 实际的html处理代码位于MDNClean.py文件中，该文件是一个带有以下命令的typer应用程序：
   • sitemap: 获取要下载的url列表并将其下载到文件夹中。
   • clean: 清理文件夹，将清理后的文本保存到最终的jsonl文件中。

数据集创建者

• 创建者: KaraKaraWitch
• 资助者: Recursal.ai

引用信息

@misc{MDN, title = {MDN}, author = {KaraKaraWitch, recursal.ai}, year = {2024}, howpublished = {url{https://huggingface.co/datasets/recursal/MDN}}, }