stefanocarrera/autophagycode_D_mercury_Qwen3-8B_lr0.0001_c142_trust_t0.75_g5_run1

--- dataset_info: features: - name: task_id dtype: string - name: entry_point dtype: string - name: prompt dtype: string - name: completion dtype: string - name: top_k_progression dtype: string - name: test dtype: string splits: - name: train num_bytes: 4117462 num_examples: 142 download_size: 494158 dataset_size: 4117462 configs: - config_name: default data_files: - split: train path: data/train-* ---

搜集汇总

数据集介绍

构建方式

该数据集立足于代码生成模型的强化学习训练需求，以Qwen3-8B为基座模型，借助自动化数据生成框架构建而成。构建过程围绕编程任务展开，针对每个任务设定函数入口点，通过模型采样生成多轮候选解答，并依据测试用例的执行结果筛选有效样本。参数配置中学习率设为0.0001，采样温度0.75，每次采样生成5个候选，经过142步迭代累积形成最终训练集。每条样本完整保留任务标识、入口函数、提示词、补全代码、top-k候选序列及测试用例，从而构成结构化的监督与评估数据。

使用方法

使用者可通过HuggingFace datasets库直接加载该数据集，默认配置下自动读取train分片。加载后，可依据task_id与entry_point字段定位具体编程任务，利用prompt与completion对开展监督微调或偏好建模。测试字段可用于执行单元测试，验证生成代码的功能正确性；top_k_progression字段则能支撑对采样轨迹的深入分析，例如研究不同候选排序与最终正确性之间的关联。该数据集适用于代码生成、强化学习策略评估以及奖励模型训练等场景，也可作为小规模基准用于快速对比不同模型或算法的表现。

背景与挑战

背景概述

代码生成模型的评估与迭代优化是当前人工智能研究的关键议题，其中针对特定编程问题的解空间探索尤具挑战性。该数据集由相关研究团队于近期构建，旨在通过Progression式测试反馈支撑代码生成模型的强化学习微调，核心研究问题在于如何利用top-k候选输出的渐进式筛选机制提升生成代码的正确性与鲁棒性。数据集包含142个训练样本，每个样本涵盖任务标识、入口点、提示、补全、渐进记录及测试用例等结构化信息，为代码生成模型的训练与评估提供了细粒度监督信号，对自动化编程领域具有明确的基准参考价值。

当前挑战

数据集所应对的领域问题聚焦于代码生成模型在复杂编程任务中的正确性保障与优化策略选择。其核心挑战在于：如何在有限样本下确保渐进式筛选机制的泛化能力，避免模型对特定任务模式过拟合；同时，测试用例的构造需兼顾边界条件与语义等价性，以准确度量生成代码的功能正确性。构建过程中面临样本多样性不足与标注一致性控制的难题，需在保持任务真实性的同时，平衡计算资源与评估粒度的矛盾，从而为代码生成模型的鲁棒性研究提供可靠支撑。

常用场景

经典使用场景

在程序合成与自动化代码生成的学术探索中，该数据集通常扮演着微调与评测代码生成模型的关键角色。其数据结构中的prompt与completion字段构成了典型的指令-响应对，使模型能够在给定任务描述下学习生成对应的代码实现。同时，test字段与entry_point的引入，使得生成结果能够通过单元测试进行自动化验证，从而为代码生成模型的正确性评估提供了可量化的标准。该数据集包含的top_k_progression字段进一步记录了生成过程中的候选序列演化信息，为分析模型解码行为提供了细粒度线索，因而常被用于研究代码生成模型在不同解码策略下的表现差异。

解决学术问题

针对代码生成研究中长期存在的生成结果正确性难以自动评估、以及模型对复杂编程任务理解不足等问题，该数据集提供了一套带有可执行测试用例的监督微调样本。借助test字段，研究者可以自动判断生成代码是否通过预设的单元测试，从而缓解了以往依赖人工评价或粗糙匹配指标所带来的偏差。该数据集亦有助于探究模型在给定入口点条件下对函数签名与功能语义的联合建模能力，为程序理解与程序合成之间的鸿沟提供了实证研究的基础。其142条训练样本虽规模有限，但结构完整，适合用于小样本微调或作为评测基准的补充。

实际应用

在软件工程实践中，该数据集可用于训练和评估面向真实编程任务的代码助手，使开发者能够以自然语言描述需求并获取可运行的代码片段。由于每条样本均配有测试用例，生成结果可在集成前自动验证，从而降低人工审查成本，适用于持续集成流程中的自动化代码建议环节。该数据集亦可服务于编程教育场景，为学生提供从问题描述到可测试代码的参考范例，辅助其理解函数入口、边界条件与测试驱动开发之间的关系。在企业内部，类似结构的数据可用于构建领域特定的代码生成微调集，以提升模型在私有代码库上的补全与生成质量。

数据集最近研究

最新研究方向

该数据集聚焦于程序合成与自动化代码生成领域，基于Qwen3-8B模型在自噬代码（autophagy code）范式下的微调轨迹，探索大语言模型在代码生成任务中的逐步优化机制。当前研究前沿关注模型生成代码的中间过程质量，尤其是top-k候选序列的动态演进与自洽性验证，以提升生成代码的鲁棒性和可测试性。该数据集收录了142个训练样本，涵盖任务标识、入口点、提示、补全、top-k进展及测试用例等结构化字段，为研究代码生成中的信任度校准（trust calibration）与温度参数调节（t0.75）提供了细粒度观测窗口。其意义在于推动可解释、可验证的代码智能系统发展，并为程序合成中的自修复与迭代优化提供实证基础。