mj33/SimCoPilot

SimCoPilot是一个用于评估大型语言模型（LLMs）作为交互式编码助手能力的基准测试。它测试LLMs在复杂现实世界软件环境中添加和完成代码的能力，并分析LLMs如何管理不同的代码依赖和逻辑复杂性。数据集包含Python和Java代码，主要用于程序合成、基准测试和研究新编码工具的开发。数据集结构包括11个字段，详细描述了代码任务的类型、代码段的位置、代码的前后内容以及逻辑组件的使用情况。数据集的创建过程涉及从Rice大学的计算机科学、电气工程和统计部门收集代码，并由研究生团队进行注释。数据集存在样本偏差和过拟合风险，建议通过多样化数据源和外部数据集交叉验证来缓解这些问题。