imbue/code-comprehension

该数据集收集了代码理解问题，主要分为两类：cloze（填空）和eval（评估代码片段的结果）。这些问题难度不一，有些非常简单，有些则更具挑战性。对于有经验的程序员来说，即使不使用纸笔，大多数问题也应该相对容易解决。数据集以行分隔的JSON格式提供，每个示例包含question、choices和correct_answer字段。该数据集是作为Imbue的70b evals发布的一部分。该数据集收集了代码理解问题，主要分为两类：cloze（填空）和eval（评估代码片段的结果）。这些问题难度不一，有些非常简单，有些则更具挑战性。对于有经验的程序员来说，即使不使用纸笔，大多数问题也应该相对容易解决。数据集以行分隔的JSON格式提供，每个示例包含question、choices和correct_answer字段。该数据集是作为Imbue的70b evals发布的一部分。