sapienzanlp/wic

--- dataset_info: features: - name: lemma dtype: string - name: sentence1 dtype: string - name: sentence2 dtype: string - name: start1 dtype: int64 - name: end1 dtype: int64 - name: start2 dtype: int64 - name: end2 dtype: int64 - name: label dtype: int64 splits: - name: train num_bytes: 1128581 num_examples: 2805 - name: validation num_bytes: 198885 num_examples: 500 - name: test num_bytes: 199696 num_examples: 500 download_size: 1012507 dataset_size: 1527162 configs: - config_name: default data_files: - split: train path: data/train-* - split: validation path: data/validation-* - split: test path: data/test-* --- # Word in Context (WIC) Original Paper: https://wic-ita.github.io/ This dataset comes from EVALITA-2023. Word in Context task consists of establishing if a word *w* occurring in two different sentences *s1* and *s2* has the same meaning or not. We repropose this task to test generative LLMs defining a specific prompting strategy comparing the perplexities of possible continuations to understand the models' capabilities. ## Example Here you can see the structure of the single sample in the present dataset. ```json { "sentence_1": string, # text of the sentence 1 "sentence_2": string, # text of the sentence 2 "lemma": string, # text of the word present in both sentences "label": int, # 0: Different Mearning, 1: Same Meaning, } ``` ## Statistics | WIC | 0 | 1 | | :--------: | :----: | :----: | | Training | 806 | 1999 | | Validation | 250 | 250 | | Test | 250 | 250 | ## Proposed Prompts Here we will describe the prompt given to the model over which we will compute the perplexity score, as model's answer we will chose the prompt with lower perplexity. Moreover, for each subtask, we define a description that is prepended to the prompts, needed by the model to understand the task. Description of the task: "Date due frasi, che contengono un lemma in comune, indica se tale lemma ha lo stesso significato in entrambe le frasi.\n\n" ### Cloze Style: Label (**Different Meaning**): "Frase 1: {{sentence1}}\nFrase 2: {{sentence2}}\nLa parola '{{lemma}}' nelle due frasi precedenti ha un significato differente tra le due frasi" Label (**Same Meaning**): "Frase 1: {{sentence1}}\nFrase 2: {{sentence2}}\nLa parola '{{lemma}}' nelle due frasi precedenti ha lo stesso significato in entrambe le frasi" ### MCQA Style: ```txt Frase 1: {{sentence1}}\nFrase 2: {{sentence2}}\nDomanda: La parola \"{{lemma}}\" ha lo stesso signicato nelle due frasi precedenti? Rispondi sì o no: ``` ## Results The following results are given by the Cloze-style prompting over some english and italian-adapted LLMs. | WIC | ACCURACY (5-shots) | | :-----: | :--: | | Gemma-2B | 48.2 | | QWEN2-1.5B | 50.4 | | Mistral-7B | 53.4 | | ZEFIRO | 54.6 | | Llama-3-8B | 54.6 | | Llama-3-8B-IT | 62.8 | | ANITA | 69.2 | ## Acknowledge We would like to thank the authors of this resource for publicly releasing such an intriguing benchmark. Additionally, we extend our gratitude to the students of the [MNLP-2024 course](https://naviglinlp.blogspot.com/), whose first homework explored various interesting prompting strategies. The original dataset is freely available for download [link](https://github.com/wic-ita/data). ## License Original data license not found.数据集信息： --- 特征： - 名称：词元（lemma），数据类型：字符串 - 名称：句子1（sentence1），数据类型：字符串 - 名称：句子2（sentence2），数据类型：字符串 - 名称：起始位置1（start1），数据类型：64位整数 - 名称：结束位置1（end1），数据类型：64位整数 - 名称：起始位置2（start2），数据类型：64位整数 - 名称：结束位置2（end2），数据类型：64位整数 - 名称：标签（label），数据类型：64位整数 划分集： - 名称：训练集（train），字节数：1128581，样本数：2805 - 名称：验证集（validation），字节数：198885，样本数：500 - 名称：测试集（test），字节数：199696，样本数：500 下载大小：1012507，数据集总大小：1527162 配置： - 配置名称：默认（default），数据文件： - 划分集：训练集，路径：data/train-* - 划分集：验证集，路径：data/validation-* - 划分集：测试集，路径：data/test-* --- # 语境中的词（Word in Context, WIC） 原始论文：https://wic-ita.github.io/ 本数据集源自EVALITA-2023会议。 语境中的词任务旨在判断：在两个不同句子s₁和s₂中出现的词w是否具有相同的语义。 我们重构了该任务，以通过定义特定提示策略、对比可能续文本的困惑度（perplexity）来测试生成式大语言模型（Large Language Model, LLM）的性能表现。 ## 示例 下文展示了本数据集单条样本的结构： json { "sentence_1": string, # 句子1的文本 "sentence_2": string, # 句子2的文本 "lemma": string, # 两个句子中共有的目标词的词元形式 "label": int, # 0：语义不同，1：语义相同， } ## 统计信息 | 语境中的词任务 | 语义不同样本数 | 语义相同样本数 | | :------------: | :-----------: | :-----------: | | 训练集 | 806 | 1999 | | 验证集 | 250 | 250 | | 测试集 | 250 | 250 | ## 提出的提示策略 本节将介绍用于输入模型的提示词，我们将通过计算各提示词的困惑度得分来选择得分最低的提示词作为模型输出结果。此外，针对每个子任务，我们会在提示词前添加一段任务描述，以帮助模型理解任务要求。 任务描述："给定两个包含公共词元的句子，请判断该词元在两个句子中的语义是否一致。 " ### 完形填空式提示： 标签（**语义不同**）："句子1：{{sentence1}} 句子2：{{sentence2}} 两个句子中的词‘{{lemma}}’语义不同" 标签（**语义相同**）："句子1：{{sentence1}} 句子2：{{sentence2}} 两个句子中的词‘{{lemma}}’语义一致" ### 多项选择问答式提示： txt 句子1：{{sentence1}} 句子2：{{sentence2}} 问题：词"{{lemma}}"在上述两个句子中的语义是否一致？请回答“是”或“否”： ## 实验结果 以下结果为使用完形填空式提示，在若干英文及意大利语适配版大语言模型上得到的测试结果。 | 模型名称 | 5样本下准确率（ACCURACY） | | :---------------- | :-----------------------: | | Gemma-2B | 48.2 | | QWEN2-1.5B | 50.4 | | Mistral-7B | 53.4 | | ZEFIRO | 54.6 | | Llama-3-8B | 54.6 | | Llama-3-8B-IT | 62.8 | | ANITA | 69.2 | ## 致谢 我们谨向公开发布该优质基准测试集的原作者致以谢意。此外，我们感谢[MNLP-2024课程](https://naviglinlp.blogspot.com/)的学员们，他们在首次作业中探索了多种有趣的提示策略。 原始数据集可在[此处](https://github.com/wic-ita/data)免费下载。 ## 许可协议 未找到原始数据集的许可协议信息。