CSFCube

我们介绍并描述了一个专家注释测试集合，以评估经过训练以执行此任务的模型。我们的测试集合包含 50 个不同的英语查询文档，来自计算语言学和机器学习场所。我们仔细遵循 TREC 用于深度 k 池（k = 100 或 250）的注释指南，所得数据收集由具有高注释一致性的分级相关分数组成。