minhnguyent546/37

---
dataset_info:
- config_name: HuggingFaceFW--finewiki--vi
features:
- name: text
dtype: string
- name: id
dtype: string
- name: wikiname
dtype: string
- name: page_id
dtype: int64
- name: title
dtype: string
- name: url
dtype: string
- name: date_modified
dtype: string
- name: in_language
dtype: string
- name: wikidata_id
dtype: string
- name: bytes_html
dtype: int64
- name: wikitext
dtype: string
- name: version
dtype: int64
- name: infoboxes
dtype: string
- name: has_math
dtype: bool
splits:
- name: train
num_bytes: 7704239327
num_examples: 1279087
download_size: 3167217422
dataset_size: 7704239327
- config_name: Viet-Mistral--CulturaY--vi
features:
- name: id
dtype: int64
- name: document_lang
dtype: string
- name: scores
list: float64
- name: langs
list: string
- name: text
dtype: string
- name: url
dtype: string
- name: collection
dtype: string
splits:
- name: train
num_bytes: 61806850824
num_examples: 4493567
download_size: 33762460782
dataset_size: 61806850824
- config_name: uonlp--CulturaX--vi
features:
- name: text
dtype: string
- name: timestamp
dtype: string
- name: url
dtype: string
- name: source
dtype: string
splits:
- name: train
num_bytes: 271104899803
num_examples: 57606341
download_size: 142191219362
dataset_size: 271104899803
- config_name: wikimedia--wikipedia--20231101.vi
features:
- name: id
dtype: string
- name: url
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 1617830227
num_examples: 1288680
download_size: 713321460
dataset_size: 1617830227
configs:
- config_name: HuggingFaceFW--finewiki--vi
data_files:
- split: train
path: HuggingFaceFW--finewiki--vi/train-*
- config_name: Viet-Mistral--CulturaY--vi
data_files:
- split: train
path: Viet-Mistral--CulturaY--vi/train-*
- config_name: uonlp--CulturaX--vi
data_files:
- split: train
path: uonlp--CulturaX--vi/train-*
- config_name: wikimedia--wikipedia--20231101.vi
data_files:
- split: train
path: wikimedia--wikipedia--20231101.vi/train-*
task_categories:
- text-generation
- mask-generation
language:
- vi
---

# 37

| Dataset | Subset | # Documents | # Documents (%) |
| --- | --- | ---: | ---: |
| [HuggingFaceFW/finewiki](https://huggingface.co/datasets/HuggingFaceFW/finewiki) | vi | 1,279,087 | 1.98 |
| [wikimedia/wikipedia](https://huggingface.co/datasets/wikimedia/wikipedia) | 20231101.vi | 1,288,680 | 1.98 |
| [Viet-Mistral/CulturaY](https://huggingface.co/datasets/Viet-Mistral/CulturaY) | vi | 4,493,567 | 6.95 |
| [uonlp/CulturaX](https://huggingface.co/datasets/uonlp/CulturaX) | vi | 57,606,341 | 89.08 |

数据集信息：
- 配置名称（config_name）：HuggingFaceFW--finewiki--vi
特征字段：
- 字段名：text，数据类型（dtype）：string
- 字段名：id，数据类型（dtype）：string
- 字段名：wikiname，数据类型（dtype）：string
- 字段名：page_id，数据类型（dtype）：int64
- 字段名：title，数据类型（dtype）：string
- 字段名：url，数据类型（dtype）：string
- 字段名：date_modified，数据类型（dtype）：string
- 字段名：in_language，数据类型（dtype）：string
- 字段名：wikidata_id，数据类型（dtype）：string
- 字段名：bytes_html，数据类型（dtype）：int64
- 字段名：wikitext，数据类型（dtype）：string
- 字段名：version，数据类型（dtype）：int64
- 字段名：infoboxes，数据类型（dtype）：string
- 字段名：has_math，数据类型（dtype）：bool
数据集划分（splits）：
- 划分名称：train，字节数：7704239327，样本数：1279087
下载大小：3167217422，数据集总大小：7704239327
- 配置名称（config_name）：Viet-Mistral--CulturaY--vi
特征字段：
- 字段名：id，数据类型（dtype）：int64
- 字段名：document_lang，数据类型（dtype）：string
- 字段名：scores，数据类型（dtype）：float64列表
- 字段名：langs，数据类型（dtype）：string列表
- 字段名：text，数据类型（dtype）：string
- 字段名：url，数据类型（dtype）：string
- 字段名：collection，数据类型（dtype）：string
数据集划分（splits）：
- 划分名称：train，字节数：61806850824，样本数：4493567
下载大小：33762460782，数据集总大小：61806850824
- 配置名称（config_name）：uonlp--CulturaX--vi
特征字段：
- 字段名：text，数据类型（dtype）：string
- 字段名：timestamp，数据类型（dtype）：string
- 字段名：url，数据类型（dtype）：string
- 字段名：source，数据类型（dtype）：string
数据集划分（splits）：
- 划分名称：train，字节数：271104899803，样本数：57606341
下载大小：142191219362，数据集总大小：271104899803
- 配置名称（config_name）：wikimedia--wikipedia--20231101.vi
特征字段：
- 字段名：id，数据类型（dtype）：string
- 字段名：url，数据类型（dtype）：string
- 字段名：title，数据类型（dtype）：string
- 字段名：text，数据类型（dtype）：string
数据集划分（splits）：
- 划分名称：train，字节数：1617830227，样本数：1288680
下载大小：713321460，数据集总大小：1617830227
数据集配置（configs）：
- 配置名称：HuggingFaceFW--finewiki--vi
数据文件（data_files）：
- 划分：train，路径：HuggingFaceFW--finewiki--vi/train-*
- 配置名称：Viet-Mistral--CulturaY--vi
数据文件（data_files）：
- 划分：train，路径：Viet-Mistral--CulturaY--vi/train-*
- 配置名称：uonlp--CulturaX--vi
数据文件（data_files）：
- 划分：train，路径：uonlp--CulturaX--vi/train-*
- 配置名称：wikimedia--wikipedia--20231101.vi
数据文件（data_files）：
- 划分：train，路径：wikimedia--wikipedia--20231101.vi/train-*
任务类别（task_categories）：
- 文本生成（text-generation）
- 掩码生成（mask-generation）
语言（language）：
- 越南语（vi）

## 37

| 数据集（Dataset） | 子集（Subset） | 文档数量（# Documents） | 文档占比（%） |
| --- | --- | ---: | ---: |
| [HuggingFaceFW/finewiki](https://huggingface.co/datasets/HuggingFaceFW/finewiki) | vi | 1,279,087 | 1.98 |
| [wikimedia/wikipedia](https://huggingface.co/datasets/wikimedia/wikipedia) | 20231101.vi | 1,288,680 | 1.98 |
| [Viet-Mistral/CulturaY](https://huggingface.co/datasets/Viet-Mistral/CulturaY) | vi | 4,493,567 | 6.95 |
| [uonlp/CulturaX](https://huggingface.co/datasets/uonlp/CulturaX) | vi | 57,606,341 | 89.08 |