WiC-TSV (Words-in-Context: Target Sense Verification)

我们提出了 WiC-TSV，一种新的词义消歧多域评估基准。更具体地说，我们介绍了一个用于在上下文中对单词进行目标意义验证的框架，该框架将其在公式中的独特性作为一个二进制分类任务，因此独立于外部意义清单和各个领域的覆盖范围。这使得数据集高度灵活，可用于评估域内和跨域的各种模型和系统。根据提供给模型的输入信号，WiC-TSV 提供三种不同的评估设置。

We propose WiC-TSV, a novel multi-domain evaluation benchmark for word sense disambiguation. More specifically, we introduce a framework for target word sense validation in context, which frames the word's contextual uniqueness as a binary classification task, thus being independent of external sense inventories and domain-specific coverage requirements. This renders the dataset highly flexible for evaluating various models and systems across both in-domain and cross-domain scenarios. Depending on the input signals provided to the model, WiC-TSV offers three distinct evaluation settings.

搜集汇总

背景与挑战

背景概述

WiC-TSV是一个用于词义消歧的多领域评估基准，通过二元分类任务验证上下文中的目标词义，无需依赖外部词义清单，适用于领域内和跨领域模型评估。该数据集提供三种不同的评估设置。