codeparrot/codeparrot-valid-near-deduplication

CodeParrot数据集包含来自GitHub的Python文件，并进行了近似的去重处理。去重过程使用了MinHash算法和Jaccard阈值（默认0.85）来创建重复文件簇，然后根据精确的Jaccard相似度将这些簇减少为唯一文件。

The CodeParrot dataset comprises Python files sourced from GitHub, and has undergone approximate deduplication. The deduplication process uses the MinHash algorithm and a Jaccard threshold (default: 0.85) to form clusters of duplicate files, then prunes these clusters to unique files based on exact Jaccard similarity.

原始信息汇总

CodeParrot 🦜 Dataset after near deduplication (validation)

数据集描述

本数据集包含来自Github的Python文件，经过近似去重处理。该数据集是从codeparrot-clean中分割出的codeparrot-clean-train。为避免精确去重可能遗漏大量近似相同的文件，采用了MinHash算法结合Jaccard阈值（默认值为0.85）来创建重复文件簇。随后，根据精确的Jaccard相似度，从这些簇中筛选出唯一文件。更多详情，请参考此仓库。