mehmetdavut/RubyCraft-3.4-Instruct

RubyCraft-3.4-Instruct是一个合成生成并经过严格过滤的数据集，专为快速适配小型语言模型（SLMs）至最新Ruby 3.4编程语言规范而设计。该数据集展示了如何以极低成本（约€4.20）创建高性能代码专家模型，从而有效减少对昂贵大型语言模型API的依赖。数据集按教师模型和质量等级组织，包含多个子集，如gemini和gpt_oss的不同版本，每个子集有不同的样本数量和描述。数据生产过程包括合成生成、严格过滤（静态分析、Oracle验证、语义去重、LLM评分）等步骤。

RubyCraft-3.4-Instruct is a synthetically generated and rigorously filtered dataset designed to rapidly adapt Small Language Models (SLMs) to the latest programming language specifications, specifically Ruby 3.4. This dataset demonstrates how high-performance code specialist models can be created at a negligible cost (approximately €4.20), effectively eliminating dependency on expensive, monolithic LLM APIs. The dataset is organized by teacher models and quality tiers, including subsets like gemini and gpt_oss with different sample counts and descriptions. The data production pipeline involves synthetic generation and rigorous filtering (static analysis, Oracle validation, semantic deduplication, LLM-as-a-Judge scoring).

搜集汇总

数据集介绍

构建方式

RubyCraft-3.4-Instruct数据集采用全自动化合成数据流水线构建，旨在高效适配Ruby 3.4这一最新编程语言规范。构建过程首先利用Gemini-2.5-Flash与GPT-OSS-120B等大型教师语言模型，针对200个复杂软件场景生成多样化的实现代码，以此实现多教师鲁棒蒸馏。随后，数据历经严苛的四阶段筛选：借助RuboCop进行静态分析以强制执行Modern Ruby 3.4风格规则；通过Ruby解析器与沙箱执行环境验证代码语法正确性与功能完整性；利用all-MiniLM-L6-v2嵌入模型进行语义去重以消除冗余模式；最终由LLM-as-a-Judge机制依据Ruby 3.4新特性（如模式匹配、Data.define）的使用程度予以评分。这一流程以极低成本（约4.20欧元）产出高质量指令微调数据。

特点

该数据集的核心特点体现在其精细化的层次结构与多维度质量评估上。数据集按教师模型与质量等级划分为八个子集，包括Gemini-2.5-Flash与GPT-OSS-120B的原始合成数据及其高质量子集，其中gemini_5k_hq子集被标记为冠军训练集，仅包含1845条精炼样本。高质量子集通过严格的自动筛选机制从原始数据中提取，确保代码在现代Ruby语法、功能正确性与创新性方面均达到最优。此外，数据集规模适中（10K至100K条），专为小型语言模型的快速适应设计，充分证明了即便依赖开源或低成本API，也能生成用于代码生成任务的专家级微调数据。

使用方法

用户可通过Hugging Face Datasets库便捷加载该数据集，其配置名称支持按需选择不同子集，例如指定gemini_train_5k_hq以获取最高质量的Gemini教师样本。数据集主要面向文本生成任务，适用于Ruby 3.4代码生成场景的指令微调。研究人员可基于不同质量等级的对比实验，深入探究教师模型蒸馏效率与数据质量对小型模型性能的影响。典型用法包括使用高质量子集进行高效微调以降低计算成本，或利用带多教师的完整数据集进行鲁棒性研究。数据格式为标准JSONL文件，每行包含指令与对应代码实现的配对，便于直接接入现有训练流水线。

背景与挑战

背景概述

RubyCraft-3.4-Instruct数据集诞生于大型语言模型与代码生成技术快速演进的背景下，由研究团队于近期创建，旨在解决小语言模型（SLM）在追踪最新编程语言规范方面面临的重大挑战。核心研究问题在于如何以极低成本（约4.20欧元）和高效的数据蒸馏方法，使SLM迅速适应Ruby 3.4版本的新特性。该数据集通过合成生成与严格过滤管道，利用Gemini-2.5-Flash和GPT-OSS-120B等多教师模型产出高质量指令数据，显著降低了对昂贵闭源大模型API的依赖。RubyCraft-3.4-Instruct在代码生成领域展示了SLM微调的全新范式，为资源受限环境下的模型定制提供了可行方案，对推动开源、高效代码智能体研究具有重要影响力。

当前挑战

该数据集面临的核心挑战源于领域问题与构建过程的双重复杂性。在领域层面，Ruby 3.4引入了模式匹配、Data.define等现代语法特性，传统模型训练数据难以覆盖最新规范，亟需高质量、高时效性的指令对来避免模型知识滞后。构建过程中遭遇的挑战包括：如何通过多教师模型（如Gemini和GPT-OSS）生成无冗余且语义丰富的合成数据，以及如何设计自动筛选流水线——需结合静态分析（RuboCop）、沙盒执行验证、语义去重和LLM评分等多重机制，在确保代码语法正确与功能无误的同时，剔除低质量样本。此外，数据集的规模控制（1K至5K）也需在覆盖度与训练效率间取得平衡，从而以微小成本实现最优知识蒸馏效果。

常用场景

经典使用场景

RubyCraft-3.4-Instruct数据集的核心用途在于对小型语言模型进行高效的指令微调，使其能够精通Ruby 3.4这一最新编程语言规范。它常被研究者用于探索如何通过有限的、高质量的合成数据，赋予轻量级模型在代码生成、漏洞修复及代码重构等任务上的卓越能力。该数据集提供的多粒度、多质量等级配置，使得对比不同教师模型蒸馏效果、分析数据质量对模型鲁棒性的影响成为可能，是验证低成本模型适配前沿语言特性的理想基准。

解决学术问题

该数据集精准回应了学术领域内两个关键挑战：其一，大型语言模型API的高昂调用成本与数据获取的不透明性，RubyCraft-3.4-Instruct以极低的预算（约€4.20）证明了高质量代码指令数据的可复现性；其二，解决了模型知识滞后于语言版本迭代的痛点，为研究如何使小模型快速、精准地适应最新的语法特性（如模式匹配）提供了标准化的测试平台。其对数据质量的严谨把控，为后续探索数据蒸馏、课程学习等方向奠定了方法论基础。

衍生相关工作

围绕RubyCraft-3.4-Instruct衍生出的经典工作主要集中于知识蒸馏与数据高效学习两个方向。研究者可以利用其多教师模型（Gemini与GPT-OSS）的平行数据，深入分析不同规模与架构的教师模型对学生模型能力迁移的影响。同时，数据集内嵌的语义去重与质量评分机制，启发了诸多关于自动化数据筛选策略的研究，例如探索如何仅用数千样本即可复现甚至超越更大规模数据集的训练效果，从而推动了低资源语言模型微调领域的范式创新。