codeparrot/github-jupyter

该数据集是从BigQuery上的Jupyter Notebooks中提取的。

This dataset is extracted from Jupyter Notebooks hosted on BigQuery.

原始信息汇总

GitHub Jupyter 数据集

数据集描述

该数据集是从 BigQuery 上的 Jupyter Notebooks 中提取的。

许可证

每个示例的许可证与其关联的仓库相同。总共有 15 种许可证： python [ mit, apache-2.0, gpl-3.0, gpl-2.0, bsd-3-clause, agpl-3.0, lgpl-3.0, lgpl-2.1, bsd-2-clause, cc0-1.0, epl-1.0, mpl-2.0, unlicense, isc, artistic-2.0 ]

搜集汇总

背景与挑战

背景概述

该数据集名为'github-jupyter'，由CodeParrot组织提供，包含从BigQuery提取的Jupyter Notebooks内容，主要用于文本生成和语言建模任务。数据集规模约为16.5万行，总大小9.86 GB，以JSON格式存储，语言为代码，每个示例关联15种不同的开源许可证，如MIT和Apache-2.0，适用于代码相关的人工智能模型训练。