chenhunghan/cosmopedia-kubernetes

---
dataset_info:
- config_name: auto_math_text
features:
- name: text
dtype: string
- name: format
dtype: string
- name: audience
dtype: string
splits:
- name: train
num_bytes: 8478.400880047388
num_examples: 3
download_size: 16747
dataset_size: 8478.400880047388
- config_name: khanacademy
features:
- name: text
dtype: string
- name: format
dtype: string
- name: audience
dtype: string
splits:
- name: train
num_bytes: 0
num_examples: 0
download_size: 932
dataset_size: 0
- config_name: openstax
features:
- name: text
dtype: string
- name: format
dtype: string
- name: audience
dtype: string
splits:
- name: train
num_bytes: 11689.100077573377
num_examples: 3
download_size: 26265
dataset_size: 11689.100077573377
- config_name: stanford
features:
- name: text
dtype: string
- name: format
dtype: string
- name: audience
dtype: string
splits:
- name: train
num_bytes: 1355287.8612738524
num_examples: 272
download_size: 1060451
dataset_size: 1355287.8612738524
- config_name: stories
features:
- name: text
dtype: string
- name: format
dtype: string
- name: audience
dtype: string
splits:
- name: train
num_bytes: 2934322.4468095503
num_examples: 1064
download_size: 1946246
dataset_size: 2934322.4468095503
- config_name: web_samples_v1
features:
- name: text
dtype: string
- name: format
dtype: string
- name: audience
dtype: string
splits:
- name: train
num_bytes: 63360415.08870015
num_examples: 15691
download_size: 45350020
dataset_size: 63360415.08870015
- config_name: web_samples_v2
features:
- name: text
dtype: string
- name: format
dtype: string
- name: audience
dtype: string
splits:
- name: train
num_bytes: 57739423.97337159
num_examples: 14318
download_size: 40353548
dataset_size: 57739423.97337159
- config_name: wikihow
features:
- name: text
dtype: string
- name: format
dtype: string
- name: audience
dtype: string
splits:
- name: train
num_bytes: 59943.793823350505
num_examples: 13
download_size: 50577
dataset_size: 59943.793823350505
configs:
- config_name: auto_math_text
data_files:
- split: train
path: auto_math_text/train-*
- config_name: khanacademy
data_files:
- split: train
path: khanacademy/train-*
- config_name: openstax
data_files:
- split: train
path: openstax/train-*
- config_name: stanford
data_files:
- split: train
path: stanford/train-*
- config_name: stories
data_files:
- split: train
path: stories/train-*
- config_name: web_samples_v1
data_files:
- split: train
path: web_samples_v1/train-*
- config_name: web_samples_v2
data_files:
- split: train
path: web_samples_v2/train-*
- config_name: wikihow
data_files:
- split: train
path: wikihow/train-*
license: apache-2.0
language:
- en
tags:
- synthetic
- k8s
- kubernetes
size_categories:
- 10K<n<100K
---
# Cosmopedia-kubernetes v0.1
An unmodified subset of Cosmopedia v0.1 data filtered by keywords: `k8s` and `kubernetes`
### Dataset splits
The splits are same as [Cosmopedia v0.1](https://huggingface.co/datasets/HuggingFaceTB/cosmopedia#dataset-splits)
### Dataset features
The dataset has the following features:
- text: the synthetic generated content from Cosmopedia v0.1.
- format: the style of `text`, this can for example be a textbook, a blogpost, a story.. It can also be inferred from the prompt.
- audience: the target audience defined in the prompt

数据集信息：
- 配置名称：auto_math_text
特征字段：
- 字段名：text，数据类型：字符串（string）
- 字段名：format，数据类型：字符串（string）
- 字段名：audience，数据类型：字符串（string）
数据集划分：
- 划分名称：train（训练集），字节数：8478.400880047388，样本数：3
下载大小：16747，数据集总大小：8478.400880047388
- 配置名称：khanacademy
特征字段：
- 字段名：text，数据类型：字符串（string）
- 字段名：format，数据类型：字符串（string）
- 字段名：audience，数据类型：字符串（string）
数据集划分：
- 划分名称：train（训练集），字节数：0，样本数：0
下载大小：932，数据集总大小：0
- 配置名称：openstax
特征字段：
- 字段名：text，数据类型：字符串（string）
- 字段名：format，数据类型：字符串（string）
- 字段名：audience，数据类型：字符串（string）
数据集划分：
- 划分名称：train（训练集），字节数：11689.100077573377，样本数：3
下载大小：26265，数据集总大小：11689.100077573377
- 配置名称：stanford
特征字段：
- 字段名：text，数据类型：字符串（string）
- 字段名：format，数据类型：字符串（string）
- 字段名：audience，数据类型：字符串（string）
数据集划分：
- 划分名称：train（训练集），字节数：1355287.8612738524，样本数：272
下载大小：1060451，数据集总大小：1355287.8612738524
- 配置名称：stories
特征字段：
- 字段名：text，数据类型：字符串（string）
- 字段名：format，数据类型：字符串（string）
- 字段名：audience，数据类型：字符串（string）
数据集划分：
- 划分名称：train（训练集），字节数：2934322.4468095503，样本数：1064
下载大小：1946246，数据集总大小：2934322.4468095503
- 配置名称：web_samples_v1
特征字段：
- 字段名：text，数据类型：字符串（string）
- 字段名：format，数据类型：字符串（string）
- 字段名：audience，数据类型：字符串（string）
数据集划分：
- 划分名称：train（训练集），字节数：63360415.08870015，样本数：15691
下载大小：45350020，数据集总大小：63360415.08870015
- 配置名称：web_samples_v2
特征字段：
- 字段名：text，数据类型：字符串（string）
- 字段名：format，数据类型：字符串（string）
- 字段名：audience，数据类型：字符串（string）
数据集划分：
- 划分名称：train（训练集），字节数：57739423.97337159，样本数：14318
下载大小：40353548，数据集总大小：57739423.97337159
- 配置名称：wikihow
特征字段：
- 字段名：text，数据类型：字符串（string）
- 字段名：format，数据类型：字符串（string）
- 字段名：audience，数据类型：字符串（string）
数据集划分：
- 划分名称：train（训练集），字节数：59943.793823350505，样本数：13
下载大小：50577，数据集总大小：59943.793823350505
配置项：
- 配置名称：auto_math_text，数据文件：
- 划分：train（训练集），路径：auto_math_text/train-*
- 配置名称：khanacademy，数据文件：
- 划分：train（训练集），路径：khanacademy/train-*
- 配置名称：openstax，数据文件：
- 划分：train（训练集），路径：openstax/train-*
- 配置名称：stanford，数据文件：
- 划分：train（训练集），路径：stanford/train-*
- 配置名称：stories，数据文件：
- 划分：train（训练集），路径：stories/train-*
- 配置名称：web_samples_v1，数据文件：
- 划分：train（训练集），路径：web_samples_v1/train-*
- 配置名称：web_samples_v2，数据文件：
- 划分：train（训练集），路径：web_samples_v2/train-*
- 配置名称：wikihow，数据文件：
- 划分：train（训练集），路径：wikihow/train-*
许可证：Apache-2.0
语言：英语（en）
标签：合成数据、k8s、kubernetes
大小分类：10K < n < 100K

# Cosmopedia-Kubernetes v0.1
本数据集为Cosmopedia v0.1的未修改子集，通过关键词`k8s`与`kubernetes`筛选得到。
### 数据集划分
划分规则与[Cosmopedia v0.1](https://huggingface.co/datasets/HuggingFaceTB/cosmopedia#dataset-splits)一致。
### 数据集特征
本数据集包含以下特征字段：
- text：Cosmopedia v0.1生成的合成内容。
- format：文本的风格类型，例如教科书、博客文章、故事等，也可通过提示词推导得出。
- audience：提示词中定义的目标受众群体。

原始信息汇总

数据集概述

数据集配置

配置名称	特征名称	数据类型	训练集大小（字节）	训练集样本数	下载大小（字节）	数据集大小（字节）
auto_math_text	text	string	8478.400880047388	3	16747	8478.400880047388
khanacademy	text	string	0	0	932	0
openstax	text	string	11689.100077573377	3	26265	11689.100077573377
stanford	text	string	1355287.8612738524	272	1060451	1355287.8612738524
stories	text	string	2934322.4468095503	1064	1946246	2934322.4468095503
web_samples_v1	text	string	63360415.08870015	15691	45350020	63360415.08870015
web_samples_v2	text	string	57739423.97337159	14318	40353548	57739423.97337159
wikihow	text	string	59943.793823350505	13	50577	59943.793823350505

数据集文件路径

配置名称	训练集路径
auto_math_text	auto_math_text/train-*
khanacademy	khanacademy/train-*
openstax	openstax/train-*
stanford	stanford/train-*
stories	stories/train-*
web_samples_v1	web_samples_v1/train-*
web_samples_v2	web_samples_v2/train-*
wikihow	wikihow/train-*

数据集特征

• text: 合成生成的内容。
• format: text的风格，例如教科书、博客文章、故事等。
• audience: 目标受众。