nairaxo/shikomori-english-clean

---
dataset_info:
features:
- name: en
dtype: string
- name: km
dtype: string
- name: source
dtype: string
- name: __index_level_0__
dtype: int64
splits:
- name: train
num_bytes: 5262684
num_examples: 48408
- name: test
num_bytes: 1747569
num_examples: 16137
- name: test_km
num_bytes: 550510
num_examples: 3471
download_size: 4127663
dataset_size: 7560763
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
- split: test_km
path: data/test_km-*
---

This dataset contains text data in English and Khmer, along with source information and an index level. It is divided into training, testing, and Khmer testing sets for different training and evaluation purposes.

原始信息汇总

数据集概述

数据集特征

• en: 数据类型为字符串（string）
• km: 数据类型为字符串（string）
• source: 数据类型为字符串（string）
• index_level_0: 数据类型为整数（int64）

数据集分割

• train: 包含48408个样本，占用5262684字节
• test: 包含16137个样本，占用1747569字节
• test_km: 包含3471个样本，占用550510字节

数据集大小

• 下载大小: 4127663字节
• 总大小: 7560763字节

配置信息

• config_name: default
  • train: 数据文件路径为data/train-*
  • test: 数据文件路径为data/test-*
  • test_km: 数据文件路径为data/test_km-*