RepoQA

该数据集是一个针对大型语言模型在长上下文代码理解和检索能力方面的高级“针尖对麦芒”测试。它设定了上下文大小为16,000个标记，并包含了500个子任务/测试（来自5种语言的每个语言中的10个needle函数，每个函数再乘以10个代码库）。任务的性质是代码检索。