Kubermatic/cncf-raw-data-for-llm-training
收藏Hugging Face2024-06-27 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/Kubermatic/cncf-raw-data-for-llm-training
下载链接
链接失效反馈官方服务：
资源简介：
该数据集名为`cncf-raw-data-for-llm-training`，包含从CNCF（云原生计算基金会）生态中的多个项目仓库提取的Markdown（MD）和PDF内容，这些内容被转换为JSON格式。该数据集旨在作为训练大型语言模型（LLMs）的原始数据。数据集包含两列：Tag和Content。Tag列是一个JSON对象，用于分类文件，包含Category（类别）、File Name（文件名）、Project Name（项目名称）和Subcategory（子类别）四个字段。Content列包含文件的实际内容。
This dataset, named `cncf-raw-data-for-llm-training`, consists of markdown (MD) and PDF content extracted from various project repositories within the CNCF (Cloud Native Computing Foundation) landscape. The data was collected by fetching MD and PDF files from different CNCF project repositories and converting them into JSON format. This dataset is intended as raw data for training large language models (LLMs). The dataset includes the following two columns: Tag and Content. Tag is a JSON object that categorizes the file, containing fields such as Category, File Name, Project Name, and Subcategory. Content contains the actual content of the file.
提供机构：
Kubermatic
原始信息汇总
数据集概述
- 数据来源：该数据集收集了从CNCF（云原生计算基金会）景观中的项目GitHub资源爬取的原始数据。
- 文件类型：包含的信息存储在yaml、md和pdf文件中。
- 数据格式：存储的数据格式为json。
数据集属性
- 许可证：Apache-2.0
- 语言：英语（en）
