systemk/culturax-ja-5k

---
language:
- ja
dataset_info:
features:
- name: text
dtype: string
- name: timestamp
dtype: string
- name: url
dtype: string
- name: source
dtype: string
splits:
- name: train
num_bytes: 23216369.493024755
num_examples: 5000
- name: dev
num_bytes: 941961.64
num_examples: 200
download_size: 14924532
dataset_size: 24158331.133024756
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: dev
path: data/dev-*
---

语言：
- 日语
数据集信息：
特征字段：
- 字段名：文本（text），数据类型：字符串（string）
- 字段名：时间戳（timestamp），数据类型：字符串（string）
- 字段名：统一资源定位符（URL），数据类型：字符串（string）
- 字段名：来源（source），数据类型：字符串（string）
数据集划分：
- 划分名称：训练集（train），字节数：23216369.493024755，样本数量：5000
- 划分名称：开发集（dev），字节数：941961.64，样本数量：200
下载大小：14924532
数据集总大小：24158331.133024756
配置项：
- 配置名称：默认（default），数据文件：
- 划分：训练集（train），路径：data/train-*
- 划分：开发集（dev），路径：data/dev-*

原始信息汇总

数据集概述

数据集特征

• text：数据类型为字符串。
• timestamp：数据类型为字符串。
• url：数据类型为字符串。
• source：数据类型为字符串。

数据集分割

• 训练集（train）：包含5000个样本，总大小为23216369.493024755字节。
• 开发集（dev）：包含200个样本，总大小为941961.64字节。

数据集大小

• 下载大小：14924532字节。
• 数据集总大小：24158331.133024756字节。

数据文件配置

• 默认配置（default）：
  • 训练集路径：data/train-*
  • 开发集路径：data/dev-*

搜集汇总

背景与挑战

背景概述

该数据集是一个日文文本数据集，格式为parquet，规模在1K到10K之间。访问需同意共享联系信息，且无详细描述。