Symato/oscar-2301_vi

Name: Symato/oscar-2301_vi
Creator: Symato
Published: 2023-07-09 08:53:40
License: 暂无描述

Hugging Face2023-07-09 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/Symato/oscar-2301_vi

下载链接

链接失效反馈

官方服务：

资源简介：

oscar-vi data

提供机构：

Symato

原始信息汇总

数据集概述

数据集名称

名称: oscar-vi data

nhagar/oscar-2301_urls

oscar-2301_urls数据集包含了OSCAR-2301语料库训练记录中的URL和顶级域名信息。该数据集由Nick Hagar和Jack Bandy策划，旨在帮助研究人员和实践者分析大型语言模型训练数据集的内容，而不需要直接处理数TB的原始文本数据。数据集包含两个字段：URL和域名。

Hugging Face2025-05-15 更新60

enchatted/OSCAR-2301-EL

--- license: cc0-1.0 ---

Hugging Face2024-05-03 更新10

Symato/madlad-400_vi

MADLAD-400是一个基于Common Crawl的多语言文档级数据集，覆盖了419种语言。数据集分为‘noisy’和‘clean’两个版本，分别代表未经过滤和经过多种过滤的数据。其主要优势在于多语言性、经过审核和高度过滤，以及文档级别的处理。然而，这也可能导致某些应用场景下召回率不足的问题。数据集还包括了LangID模型、过滤步骤、特殊处理（如Virama校正和缅甸字体兼容性）以及详细的审核

Hugging Face2024-09-27 更新160

GKepas/OSCAR-2301-EL

--- license: cc0-1.0 ---

Hugging Face2024-07-11 更新20

zicsx/OSCAR-2301-Hindi

--- dataset_info: features: - name: id dtype: int64 - name: text dtype: string - name: meta struct: - name: warc_headers struct: - name: warc-record-id dtyp

Hugging Face2024-01-23 更新250