copenlu/dynamicqa

--- license: mit configs: - config_name: static data_files: - split: test path: static.csv - config_name: temporal data_files: - split: test path: temporal.csv - config_name: disputable data_files: - split: test path: disputable.csv task_categories: - question-answering language: - en pretty_name: DynamicQA size_categories: - 10K<n<100K --- # DYNAMICQA This is a repository for the paper [DYNAMICQA: Tracing Internal Knowledge Conflicts in Language Models](https://arxiv.org/abs/2407.17023) accepted at Findings of EMNLP 2024. <p align="center"> <img src="main_figure.png" width="800" alt="main_figure"> </p> Our paper investigates the Language Model's behaviour when the conflicting knowledge exist within the LM's parameters. We present a novel dataset containing inherently conflicting data, DYNAMICQA. Our dataset consists of three partitions, **Static**, **Disputable** 🤷‍♀️, and **Temporal** 🕰️. We also evaluate several measures on their ability to reflect the presence of intra-memory conflict: **Semantic Entropy** and a novel **Coherent Persuasion Score**. You can find our findings from our paper! The implementation of the measures is available on our github [repo](https://github.com/copenlu/dynamicqa)! ## Dataset Our dataset consists of three different partitions. | Partition | Number of Questions | | --------- | ------------------- | | Static | 2500 | | Temporal | 2495 | | Disputable | 694 | ### Details 1. Question : "question" column 2. Answers : Two different answers are available: one in the "obj" column and the other in the "replace_name" column. 3. Context : Context ("context" column) is masked with \[ENTITY\]. Before providing the context to the LM, you should replace \[ENTITY\] with either "obj" or "replace_name". 4. Number of edits : "num_edits" column. This denotes Temporality for temporal partition, and Disputability for disputable partition. ## Citation If you find our dataset helpful, kindly refer to us in your work using the following citation: ``` @inproceedings{marjanović2024dynamicqatracinginternalknowledge, title={DYNAMICQA: Tracing Internal Knowledge Conflicts in Language Models}, author={Sara Vera Marjanović and Haeun Yu and Pepa Atanasova and Maria Maistro and Christina Lioma and Isabelle Augenstein}, year={2024}, booktitle = {Findings of EMNLP}, publisher = {Association for Computational Linguistics} } ```许可证：MIT协议 配置项： - 配置名称：静态（static） 数据文件： - 拆分集：测试集 文件路径：static.csv - 配置名称：时序（temporal） 数据文件： - 拆分集：测试集 文件路径：temporal.csv - 配置名称：有争议（disputable） 数据文件： - 拆分集：测试集 文件路径：disputable.csv 任务类别：问答（question-answering） 语言：英语 规范名称：DynamicQA 样本规模区间：10000 < 样本量 < 100000 # DYNAMICQA 本仓库对应发表于2024年EMNLP Findings的论文《DYNAMICQA：追踪大语言模型（Large Language Model, LLM）内部知识冲突》（https://arxiv.org/abs/2407.17023）。 <p align="center"> <img src="main_figure.png" width="800" alt="主示意图"> </p> 本论文研究了当大语言模型参数内部存在冲突知识时的模型行为。我们构建了一个包含固有冲突数据的全新数据集DYNAMICQA，该数据集包含三个分区：**静态（Static）**、**有争议（Disputable）** 🤷‍♀️以及**时序（Temporal）** 🕰️。 我们还评估了多种指标在反映模型内部记忆冲突存在性方面的能力，包括**语义熵（Semantic Entropy）**以及全新提出的**一致性说服得分（Coherent Persuasion Score）**。相关研究结论可参见论文。 上述指标的实现代码可在我们的GitHub仓库（https://github.com/copenlu/dynamicqa）中获取！ ## 数据集详情 本数据集包含三个不同分区： | 分区名称 | 问题数量 | | --------- | ------------------- | | 静态分区（Static） | 2500 | | 时序分区（Temporal） | 2495 | | 有争议分区（Disputable） | 694 | ### 数据集说明 1. 问题：对应数据集中的`question`列 2. 答案：共包含两种不同答案，分别位于`obj`列与`replace_name`列中 3. 上下文：上下文内容（对应`context`列）已使用`[ENTITY]`进行掩码。在将上下文输入大语言模型之前，需将`[ENTITY]`替换为`obj`或`replace_name`中的对应值 4. 编辑次数：对应`num_edits`列。对于时序分区，该字段表示时序性程度；对于有争议分区，该字段表示争议性程度 ## 引用声明 若您的工作中使用了本数据集，请通过以下引用格式致谢： @inproceedings{marjanović2024dynamicqatracinginternalknowledge, title={DYNAMICQA: Tracing Internal Knowledge Conflicts in Language Models}, author={Sara Vera Marjanović and Haeun Yu and Pepa Atanasova and Maria Maistro and Christina Lioma and Isabelle Augenstein}, year={2024}, booktitle = {Findings of EMNLP}, publisher = {Association for Computational Linguistics} }

搜集汇总

背景与挑战

背景概述

DYNAMICQA是一个用于研究语言模型内部知识冲突的问答数据集，包含静态、争议性和时间性三个子集，共约5,689个样本。每个样本均提供两个冲突答案，旨在评估模型在内部记忆冲突时的行为，并支持语义熵和新颖的连贯说服分数等度量。