commitpack-subset-cf
收藏魔搭社区2025-12-05 更新2025-12-06 收录
下载链接：
https://modelscope.cn/datasets/bigcode/commitpack-subset-cf
下载链接
链接失效反馈官方服务：
资源简介：
A subset of [CommitPack](https://huggingface.co/datasets/bigcode/commitpack) used for pretraining [SantaCoderPack](https://huggingface.co/bigcode/santacoderpack) from the OctoPack paper.
It focuses on data where the code before + special token + code after fits into 8192 tokens and on 6 languages. The data is in commit format (cf): `<commit_before>code_before<commit_message>commit_message<commit_after>code_after`.
本数据集为[CommitPack](https://huggingface.co/datasets/bigcode/commitpack)的子集，用于预训练来自《OctoPack》论文的[SantaCoderPack](https://huggingface.co/bigcode/santacoderpack)。
该数据集聚焦于满足「代码前内容+特殊标记+代码后内容」总长度不超过8192个Token的样本，且覆盖6种编程语言。数据集采用提交格式（commit format，缩写cf），其结构为：`<commit_before>代码前内容<commit_message>提交信息<commit_after>代码后内容`。
提供机构：
maas
创建时间：
2025-10-11
