defect4ML

defect4ML是由蒙特利尔理工学院的研究团队创建的一个标准bug基准数据集，包含100个从GitHub和Stack Overflow收集的ML相关bug。该数据集旨在帮助ML系统的实践者和研究者评估他们的测试工具和技术。数据集中的bug涵盖了TensorFlow和Keras框架，涉及多种bug类型和测试属性，如正确性、效率和可重复性。创建过程包括手动检查和过滤，确保每个bug都满足标准基准的严格要求。defect4ML的应用领域包括自动bug修复工具的评估和ML系统测试方法的改进，旨在解决ML系统中的可靠性问题。