cosmopedia-v2
收藏资源简介：
Format-Separated Cosmopedia-v2 是一个基于 HuggingFaceTB/smollm-corpus 数据集中 cosmopedia-v2 子集重新格式化的数据集。原始数据集被按文本格式（format）划分为 15 个独立的子集，每个子集存储在对应的目录中，以 Parquet 文件形式提供。该数据集旨在方便用户按需下载或流式传输特定类型的数据（例如，仅获取教科书或故事类数据），无需过滤整个数据集。数据集包含以下 15 种格式：对话（dialogue）、电子学习模块（e-learning_module）、科学文章（scientific_article）、故事（story）、儿童故事（story_children）、论坛故事（story_forums）、人生教训故事（story_life_lessons）、道德故事（story_morality）、Reddit 故事（story_reddit）、教科书（textbook）、学术教科书（textbook_academic）、叙事教科书（textbook_narrative）、叙事语调教科书（textbook_narrative_tone）、无条件主题教科书（textbook_unconditionned_topic）以及 wikiHow。数据集的许可证为 ODC-By，语言为英语，适用于文本生成任务。
Format-Separated Cosmopedia-v2 is a dataset reformatted from the cosmopedia-v2 subset of the HuggingFaceTB/smollm-corpus dataset. The original dataset is divided into 15 independent subsets based on text format, each stored in a corresponding directory and provided as Parquet files. This dataset aims to facilitate users to download or stream specific types of data (e.g., only textbooks or stories) on demand, without filtering the entire dataset. The dataset contains the following 15 formats: dialogue, e-learning_module, scientific_article, story, story_children, story_forums, story_life_lessons, story_morality, story_reddit, textbook, textbook_academic, textbook_narrative, textbook_narrative_tone, textbook_unconditionned_topic, and wikiHow. The dataset is licensed under ODC-By, the language is English, and it is suitable for text generation tasks.
数据集详情：Format-Separated Cosmopedia-v2
基本概述
该数据集是 cosmopedia-v2 子集的重新格式化版本，源自 HuggingFaceTB/smollm-corpus 原始数据集。本数据集根据文本的格式字段将原始数据划分为独立的目录，使用户能够轻松下载或流式获取特定子集（例如仅获取教科书或仅获取故事），而无需对整个数据集进行过滤。
许可证与语言
- 许可证：odc-by（Open Data Commons Attribution License）
- 语言：英语（en）
- 任务类别：文本生成（text-generation）
数据集结构
数据集按 15 种格式组织为独立目录，Parquet 文件存储在各格式目录中，遵循以下结构：
text /data/{格式名称}/train-00000-of-00104.parquet
可用格式（子集）
| 序号 | 格式名称 |
|---|---|
| 1 | dialogue |
| 2 | e-learning_module |
| 3 | scientific_article |
| 4 | story |
| 5 | story_children |
| 6 | story_forums |
| 7 | story_life_lessons |
| 8 | story_morality |
| 9 | story_reddit |
| 10 | textbook |
| 11 | textbook_academic |
| 12 | textbook_narrative |
| 13 | textbook_narrative_tone |
| 14 | textbook_unconditionned_topic |
| 15 | wikihow |
每个子集均作为独立的 config 提供，数据文件路径为 data/{格式名称}/*.parquet，划分为 train 分割。
源数据
- 原始数据集：HuggingFaceTB/smollm-corpus
- 原始分割：
cosmopedia-v2
数据处理方式
处理过程通过按 format 列过滤行，将数据分别保存到各自对应的目录中，同时保留原始的分块编号（train-XXXXX-of-00104.parquet），确保分块结构与原始数据集一致。
