bigcode/self-oss-instruct-sc2-exec-filter-50k

这是StarCoder2-Instruct的最终自对齐训练数据集，包含50K个示例。数据集中的每个示例包括种子Python函数、从种子生成的概念、从概念生成的指令以及执行验证后的响应。

原始信息汇总

数据集概述

数据集信息

• 特征列表:

  • fingerprint: 数据类型为 null
  • sha1: 数据类型为 string
  • seed: 数据类型为 string
  • response: 数据类型为 string
  • concepts: 数据类型为 sequence 的 string
  • prompt: 数据类型为 string
  • instruction: 数据类型为 string
  • id: 数据类型为 int64

• 数据分割:

  • train: 包含 50661 个样本，占用 261340280 字节

• 数据集大小:

  • 下载大小: 90128158 字节
  • 数据集大小: 261340280 字节

• 配置:

  • default 配置包含 train 数据文件，路径为 data/train-*

• 许可证: odc-by

• 数据集名称: StarCoder2-15b Self-Alignment Dataset (50K)

数据集描述

• seed: 包含种子 Python 函数
• concepts: 包含从种子生成的概念
• instruction: 包含从概念生成的指令
• response: 包含对指令的执行验证响应

搜集汇总

背景与挑战

背景概述

bigcode/self-oss-instruct-sc2-exec-filter-50k是一个用于代码生成的自对齐训练数据集，包含约5万条数据，基于种子Python函数生成概念、指令和执行验证的响应，旨在提升代码大语言模型的性能。该数据集采用odc-by许可证，格式为parquet，已被多个模型（如SmolLM和Granite系列）用于训练和微调，适用于代码生成和指令跟随任务。