MLDataScientist/Wikipedia-uzbek-2024-05-01

--- license: apache-2.0 dataset_info: features: - name: id dtype: string - name: url dtype: string - name: title dtype: string - name: text dtype: string - name: text_len dtype: int64 splits: - name: train num_bytes: 415422789 num_examples: 259716 download_size: 219275784 dataset_size: 415422789 configs: - config_name: default data_files: - split: train path: data/train-* task_categories: - text-generation - text-classification language: - uz size_categories: - 100K<n<1M --- This dataset contains wikipedia dump in the Uzbek language for the date May 2024.许可证：Apache-2.0 数据集信息： 特征字段： - id：字符串类型 - url：字符串类型 - title：字符串类型 - text：字符串类型 - text_len：64位整型 数据划分： - 划分名称：训练集（train），字节占用量：415422789，样本总量：259716 下载大小：219275784 字节 数据集存储大小：415422789 字节 配置项： - 配置名称：默认配置（default），数据文件配置： - 对应划分：训练集（train），文件路径：data/train-* 任务类别： - 文本生成 - 文本分类 使用语言：乌兹别克语（uz） 样本规模区间：10万 < 样本数 < 100万 本数据集收录了2024年5月发布的乌兹别克语维基百科转储文件。

原始信息汇总

数据集概述

数据集基本信息

• 许可证: Apache-2.0

数据集特征

• id: 数据类型为字符串
• url: 数据类型为字符串
• title: 数据类型为字符串
• text: 数据类型为字符串
• text_len: 数据类型为int64

数据集分割

• 训练集:
  • 字节数: 415422789
  • 示例数: 259716

数据集大小

• 下载大小: 219275784
• 数据集大小: 415422789

配置

• 默认配置:
  • 数据文件路径: data/train-*

任务类别

• 文本生成
• 文本分类

语言

• 乌兹别克语 (uz)

大小类别

• 100K<n<1M

搜集汇总

背景与挑战

背景概述

该数据集是一个乌兹别克语维基百科的2024年5月转储，包含约26万行数据，以parquet格式存储，适用于文本生成和文本分类任务。数据集采用Apache 2.0许可证，总大小为219 MB，已被用于训练多个乌兹别克语大语言模型，如Mistral-7B-Instruct-Uz。