ohtaman/aozora_kids

---
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
dataset_info:
features:
- name: title
dtype: string
- name: author
dtype: string
- name: content
dtype: string
- name: filename
dtype: string
- name: category
dtype: string
- name: short_description
dtype: string
- name: char_kana_type
dtype: string
- name: story
dtype: string
splits:
- name: train
num_bytes: 85891851
num_examples: 1221
- name: test
num_bytes: 586251
num_examples: 8
download_size: 42922184
dataset_size: 86478102
---
# Dataset Card for "aozora_kids"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

---
配置项：
- 配置名称：default
数据文件：
- 划分（split）：train（训练集），路径：data/train-*
- 划分（split）：test（测试集），路径：data/test-*
数据集信息（dataset_info）：
数据集特征（features）：
- 字段名：title（标题），数据类型（dtype）：字符串（string）
- 字段名：author（作者），数据类型：字符串
- 字段名：content（内容），数据类型：字符串
- 字段名：filename（文件名），数据类型：字符串
- 字段名：category（分类），数据类型：字符串
- 字段名：short_description（简短描述），数据类型：字符串
- 字段名：char_kana_type（字符假名类型），数据类型：字符串
- 字段名：story（故事文本），数据类型：字符串
数据集划分（splits）：
- 划分名称：train（训练集），占用字节数：85891851，样本总数：1221
- 划分名称：test（测试集），占用字节数：586251，样本总数：8
下载总大小：42922184
数据集总存储大小：86478102
---
# 「青空少儿（aozora_kids）」数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集配置

• 配置名称: default
• 数据文件:
  • 训练集: data/train-*
  • 测试集: data/test-*

数据集信息

• 特征:

  • 名称: title
    • 数据类型: string
  • 作者: author
    • 数据类型: string
  • 内容: content
    • 数据类型: string
  • 文件名: filename
    • 数据类型: string
  • 分类: category
    • 数据类型: string
  • 简短描述: short_description
    • 数据类型: string
  • 字符假名类型: char_kana_type
    • 数据类型: string
  • 故事: story
    • 数据类型: string

• 分割:

  • 训练集:
    • 字节数: 85891851
    • 样本数: 1221
  • 测试集:
    • 字节数: 586251
    • 样本数: 8

• 下载大小: 42922184

• 数据集大小: 86478102

搜集汇总

数据集介绍

构建方式

该数据集名为aozora_kids，源自日本青空文库中面向儿童的文学作品。构建过程精选了1221篇训练样本与8篇测试样本，确保内容适合儿童阅读。数据以parquet格式存储，包含title、author、content、filename、category、short_description、char_kana_type和story等多个字段，覆盖了从标题到故事正文的完整信息。训练集与测试集按比例划分，文件路径统一为data/train-*和data/test-*，便于加载与复现。

特点

数据集的核心特点在于其专为儿童设计的语料库属性，所有文本均来源于日本经典儿童文学，具有教育性和文化价值。每个样本附带category（分类）和short_description（简短描述），方便快速了解内容主题。char_kana_type字段标注了假名类型，story字段则提供了叙事性文本，这些元数据使得数据集不仅适用于语言模型训练，还能支持文本分类、摘要生成等任务。训练集规模达8589万字节，测试集虽小但精炼，保证了评估的可靠性。

使用方法

使用该数据集时，可通过HuggingFace的datasets库直接加载，指定配置名称为default即可获取训练集和测试集。数据加载后，各字段以字典形式呈现，用户可根据需求提取content字段进行文本生成训练，或利用category字段进行分类任务。由于数据集已预划分，无需额外拆分，适合快速搭建实验流程。推荐结合transformers库对儿童文学进行微调，或用于开发面向低龄用户的自然语言处理应用。

背景与挑战

背景概述

在自然语言处理领域，面向儿童的中文语料资源长期匮乏，限制了针对低龄学习者的语言模型与教育工具的发展。ohtaman/aozora_kids数据集由研究者基于日本青空文库的儿童文学作品整理而成，创建于近年，旨在为儿童友好型文本分析提供高质量语料。该数据集包含1221条训练样本与8条测试样本，涵盖标题、作者、内容、分类及简短描述等字段，聚焦于儿童文学的故事性与语言特征。其核心研究问题在于如何利用结构化儿童文学文本，推动面向少儿的语言理解、文本生成及教育辅助系统的进步。该数据集的发布填补了儿童领域语料空白，为相关研究提供了基础资源，尤其对日语儿童文学的自然语言处理研究具有重要参考价值。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：儿童文学文本虽词汇量有限，但蕴含丰富的拟声词、口语化表达及道德隐喻，对模型理解上下文与情感意图提出更高要求。现有通用语言模型在儿童语料上的泛化能力不足，易产生与儿童认知水平不匹配的输出。其次，构建过程中挑战显著：语料来源虽依托青空文库，但版权筛选与文本数字化仍需人工校验；字段如'char_kana_type'和'story'的标注依赖专家知识，确保一致性难度较大。此外，样本规模较小（仅1221条训练数据），且测试集仅8例，可能导致模型过拟合，难以评估真实泛化性能。数据类别分布的不均衡进一步限制了多任务学习的有效性，亟需扩展语料规模与多样性以应对上述瓶颈。

常用场景

经典使用场景

在儿童文学与自然语言处理交叉领域，aozora_kids数据集作为青空文库中面向儿童读者的精选文本集合，为研究者提供了高质量的日语儿童语料。该数据集涵盖故事、寓言、童话等多元体裁，包含标题、作者、内容、分类及短描述等结构化字段，特别标注了文字类型（如平假名、片假名混合）以适配儿童阅读能力。其经典使用场景聚焦于儿童语言习得研究、文本难度分级模型训练以及低龄化自然语言生成任务，例如基于儿童语境的自动故事创作或阅读理解系统开发。

解决学术问题

该数据集有效解决了儿童日语语料稀缺的学术瓶颈，传统语料库多面向成人或通用领域，难以支撑针对儿童认知特点的语言模型构建。通过提供1221条训练样本与8条测试样本的结构化数据，研究者得以探索儿童文本中的词汇简化策略、语法复杂度递减规律及叙事模式特征。其意义在于推动低资源语言环境下的儿童计算语言学发展，为跨年龄段文本适应性研究、教育技术中的自动难度评估以及儿童友好型人机交互设计奠定了数据基础。

衍生相关工作

该数据集衍生出多项经典工作，包括基于儿童语料的日语文本难度分级模型（如使用char_kana_type字段区分文字类型以预测可读性），以及面向儿童的故事生成系统，通过微调预训练语言模型生成符合儿童认知的连贯叙事。研究团队进一步将其与青空文库其他子集结合，构建跨年龄段文本对比分析框架，探索语言复杂度随读者年龄的变化规律。此外，该数据集还被用于儿童情感分析任务，通过短描述字段训练情绪分类器，为教育场景中的情感计算提供基准资源。