Replete-AI/code_bagel

该数据集包含约8亿个独特的编程数据标记，每行最多包含10,000个标记，并支持超过100种编程语言。数据集包含了320万行高质量、经过过滤、未审查、去重后的独特编程数据。该数据集是HuggingFace上最大和最高质量的基于指令的编程数据集的组合，足以用于继续预训练一个新的编程模型。数据集的创建过程包括下载所有单独的数据集、使用Meta.ai提取数据并将其转换为alpaca格式、使用Claude.ai创建代码去重和未审查数据等步骤。

This dataset contains approximately 800 million unique programming data tokens, with a maximum of 10,000 tokens per line and supports over 100 programming languages. It comprises 3.2 million lines of high-quality, filtered, uncensored, deduplicated unique programming data. This dataset is a compilation of the largest and highest-quality instruction-based programming datasets available on HuggingFace, and is sufficiently robust to support the continued pre-training of a new programming model. The dataset creation workflow includes steps such as downloading all individual datasets, extracting data using Meta.ai and converting it to Alpaca format, as well as leveraging Claude.ai to carry out code deduplication and curate uncensored data.

原始信息汇总

数据集概述

数据集内容

• 数据量：包含超过320万行高质量、过滤、未审查、去重、独特的编程数据。
• 数据特点：每行最多包含10,000个令牌，总计约8亿个独特令牌。

数据集来源

• 该数据集是多个高质量指令型编程数据集的合并，具体包括：
  • layoric/tiny-codes-alpaca
  • glaiveai/glaive-code-assistant-v3
  • ajibawa-2023/Code-290k-ShareGPT
  • TIGER-Lab/MathInstruct
  • chargoddard/commitpack-ft-instruct-rated
  • iamtarun/code_instructions_120k_alpaca
  • ise-uiuc/Magicoder-Evol-Instruct-110K
  • cognitivecomputations/dolphin-coder
  • nickrosh/Evol-Instruct-Code-80k-v1
  • coseal/CodeUltraFeedback_binarized
  • glaiveai/glaive-function-calling-v2
  • CyberNative/Code_Vulnerability_Security_DPO

数据处理过程

1. 下载所有个体数据集。
2. 使用Meta.ai创建代码，将数据提取到alpaca格式，并为大多数数据添加指令。
3. 使用相同的方法将所有数据集合并为一个。
4. 使用Claude.ai创建代码进行去重和未审查处理。

使用许可

• 该数据集遵循Apache-2.0许可协议。