The dataset of the paper titled "Context-Aware Code Change Embedding for Better Patch Correctness Assessment"

This is the online repository of the paper "Context-Aware Code Change Embedding for Better Patch Correctness Assessment" under review by SANER2021. We release the source code of Cache, the patches used in our evaluation, as well as the experiment results.

Patches: Three patch benchmarks included in our study. 

Tian: The patches from Tian's ASE20 paper.

Wang: The patches from Wang's ASE20 paper.

Cache: The patches collected by ourselves, which is consist of 17,377 deduplicated overfitting patches from RepairThemAll and 17,377 instances from ManySStuBs(used as correct patches).

Results:

RQ1: The detailed result files in RQ1, which are named by the format of [model]_[classifier].csv.

For example, the file named BERT_DT.csv in the folder Tian's_dataset means that this file is the result of patches from Tian's study embedded by BERT and classified by Decision Tree.

Tian's_dataset : The detailed result files on Tian's dataset. 

Cache_dataset : The detailed result files on our own dataset. 

Cross_dataset : The detailed result files of representation learning techniques when training on our own dataset and testing on Tian's dataset.

RQ2: The detailed result files in RQ2.

Wang_Cache.csv: The detailed result of Cache on the dataset from Wang's ASE20.

ODS_Cache.csv: The datailed result of Cache on the dataset from Xiong's ICSE18 paper. We directly compare against the results reported by the authors of ODS on 139 patches from Xiong's paper since the data and source code of ODS is unavailable.

Source: The source code and lib for running Cache is available at https://github.com/APR-Study/Cache.