OpenCoder-LLM/opc-fineweb-code-corpus
收藏Hugging Face2024-11-24 更新2024-12-14 收录
下载链接：
https://hf-mirror.com/datasets/OpenCoder-LLM/opc-fineweb-code-corpus
下载链接
链接失效反馈官方服务：
资源简介：
OpenCoder数据集由多个子数据集组成，其中包括opc-fineweb-code-corpus，这是从Fineweb中提取的代码相关数据，专门用于OpenCoder的预训练。该数据集通过fastText进行三轮迭代，最终召回了一个包含550亿代码和数学相关数据的数据集。数学相关数据可以在OpenCoder-LLM/fineweb-math-corpus中找到。该数据集的特征包括url、tag、text、file_path、dump、file_size_in_byte和line_count等字段，且仅包含一个训练集，数据量庞大。
The opc-fineweb-code-corpus is a dataset of code-related data recalled from Fineweb, specifically used in the pre-training of OpenCoder. This dataset is formed through three iterative rounds of recall using fastText, resulting in a final dataset of 55B code and math-related data.
提供机构：
OpenCoder-LLM
