CSFCube

我们介绍并描述了一个专家注释测试集合，以评估经过训练以执行此任务的模型。我们的测试集合包含 50 个不同的英语查询文档，来自计算语言学和机器学习场所。我们仔细遵循 TREC 用于深度 k 池（k = 100 或 250）的注释指南，所得数据收集由具有高注释一致性的分级相关分数组成。We introduce and describe an expert-annotated test collection for evaluating models trained to perform this task. Our test collection comprises 50 distinct English query documents sourced from computational linguistics and machine learning venues. We strictly followed the TREC annotation guidelines for deep k-pooling (k = 100 or 250), and the resulting data collection consists of graded relevance scores with high annotation consistency.

搜集汇总

背景与挑战

背景概述

CSFCube是一个专家注释的测试集合，包含50个来自计算语言学和机器学习领域的英语查询文档，用于评估模型性能。它遵循TREC深度池注释指南，具有高一致性的分级相关分数。