Automated Unit Test Generation via Chain of Thought Prompt and Reinforcement Learning

IntroductionThis is the replication package for the paper "Automated Unit Test Generation via Chain of Thought Prompt and Reinforcement Learning".Organization of the Replication Package<b>checkpoints.zip:</b> fine-tuned models, including TestCTRL, TestCT, TestCT-no-cot, TestCT-intention, TestCT-input, TestCT-ti, CodeBERT-line, CodeT5-line, CodeGPT-line, CodeBERT-branch, CodeT5-branch, and CodeGPT-branch.<b>dataset.zip</b>: Datasets for fine-tuning and reinforcement learning, including the CoT dataset, reward dataset (reward folder), and the dataset for PPO optimization (rl folder).<b>evaluation.zip:</b> scripts for evaluating the generated tests, including CodeBLEU, syntactic correct rate, compilation passing rate, line coverage rate, and branch coverage rate.<b>finetune.zip: </b>scripts and configs for fine-tuning large language models for test generation.<b>generated_test_result.zip:</b> the generated tests.<b>pretrain.zip:</b> pre-trained models, including CodeLlama, CodeBERT, CodeT5, and CodeBERT.<b>CoT_quality.zip: </b>the example of evaluating CoT prompts.

引言
本数据包为论文《基于思维链提示与强化学习的自动化单元测试生成》的复现套件。
复现套件组织结构
<b>checkpoints.zip：</b> 存放微调后的模型，涵盖TestCTRL、TestCT、TestCT-no-cot、TestCT-intention、TestCT-input、TestCT-ti、CodeBERT-line、CodeT5-line、CodeGPT-line、CodeBERT-branch、CodeT5-branch与CodeGPT-branch。
<b>dataset.zip：</b> 包含用于微调与强化学习的数据集，具体包括思维链（Chain of Thought）数据集、奖励数据集（位于reward文件夹下）以及用于PPO优化的数据集（位于rl文件夹下）。
<b>evaluation.zip：</b> 收录用于评估生成测试用例的脚本，涵盖代码BLEU（CodeBLEU）得分、语法正确率、编译通过率、行覆盖率与分支覆盖率。
<b>finetune.zip：</b> 包含用于微调大语言模型以生成测试用例的脚本与配置文件。
<b>generated_test_result.zip：</b> 存放生成的测试用例。
<b>pretrain.zip：</b> 收录预训练模型，包含CodeLlama、CodeBERT、CodeT5以及CodeBERT。
<b>CoT_quality.zip：</b> 包含思维链提示的评估示例。

搜集汇总

背景与挑战

背景概述

该数据集是一个复现包，包含用于测试生成的fine-tuned模型、数据集和评估脚本，支持通过链式思维提示和强化学习进行自动化单元测试生成的研究。