starcoderdata

这是用于训练StarCoder和StarCoderBase的数据集。它包含86种编程语言的783GB代码，并包括54GB GitHub问题脚本和文本代码对中的13GB Jupyter笔记本，以及32GB GitHub提交，大约250个令牌。

This is the dataset employed for training StarCoder and StarCoderBase. It encompasses 783 gigabytes of code spanning 86 programming languages, alongside 54 gigabytes of GitHub issue scripts, 13 gigabytes of Jupyter notebooks derived from text-code pairs, and 32 gigabytes of GitHub commits, with a total of approximately 250 tokens.

搜集汇总

背景与挑战

背景概述

starcoderdata是一个用于训练StarCoder和StarCoderBase模型的代码数据集，包含86种编程语言的783GB代码，涵盖GitHub问题脚本、Jupyter笔记本和提交记录，旨在支持大规模代码生成和预训练任务。该数据集由Hugging Face和ServiceNow等机构于2023年发布，具有多语言、高容量的特点。