the-stack-dedup

Dataset Card for The Stack Changelog Release Description v1.0 Initial release of the Stack. Included 30 programming languages and 18 permissive licenses. Note: Three included licenses (MPL/EPL/LGPL) are considered weak copyleft licenses. The resulting near-deduplicated dataset is 1.5TB in size. v1.1 The three copyleft licenses ((MPL/EPL/LGPL) were excluded and the list of permissive licenses extended to 193 licenses in total. The list of programming… See the full description on the dataset page: https://huggingface.co/datasets/bigcode/the-stack-dedup.数据集卡片——The Stack 版本变更日志 发布 描述 v1.0 The Stack 的初始发布版本。包含 30 种编程语言和 18 项宽松许可协议。请注意：其中包含的三项许可协议（MPL/EPL/LGPL）被视为弱版权保留许可协议。经近去重处理后的数据集大小为 1.5TB。 v1.1 排除了三项版权保留许可协议（MPL/EPL/LGPL），并将宽松许可协议的列表扩展至总计 193 项。编程语言列表的详细信息请参阅数据集页面：https://huggingface.co/datasets/bigcode/the-stack-dedup。

搜集汇总

背景与挑战

背景概述

The Stack数据集是一个去重版本，包含来自358种编程语言的3TB源代码文件，所有代码均使用宽松许可证。该数据集由BigCode项目创建，专门用于训练代码生成大语言模型（Code LLMs），旨在提高模型开发的可重复性和透明度，同时支持多种下游任务，如代码补全和文档生成。