aryaman/causalgym

CausalGym是一个用于比较因果解释方法在简单语言任务上表现的基准数据集，这些任务来自SyntaxGym评估集，并转换为适合干预解释的格式。数据集包括训练/开发/测试分割，并详细描述了各列的含义，如`base`/`src`列是进行干预的提示，`base_label`和`src_label`列是真实的下一个标记预测，`base_type`和`src_type`列表示提示的类别，`task`列表示任务类型。

原始信息汇总

数据集概述

CausalGym 是一个用于比较因果可解释性方法在多种简单语言任务上性能的基准数据集。这些任务源自 SyntaxGym 评估集，并被转换为适合干预性可解释性的格式。

数据集内容

• 数据分割：包含训练集、开发集和测试集。
• 数据列：
  • base/src 列：干预的提示，每个提示是一个字符串列表，每个字符串是一个模板中的跨度，按索引对齐，可能包含不等数量的标记。
  • base_label 和 src_label 列：训练/评估的真值下一个标记预测。
  • base_type 和 src_type 列：提示的类别（总是二元的）。
  • task 列：指示该行来自哪个任务。

使用建议

• 应分别在每个任务上进行训练，因为每个任务研究不同的语言特征。

引用

如果使用此数据集，请引用 CausalGym 论文以及之前的 SyntaxGym 论文。

bibtex @article{arora-etal-2024-causalgym, title = "{C}ausal{G}ym: Benchmarking causal interpretability methods on linguistic tasks", author = "Arora, Aryaman and Jurafsky, Dan and Potts, Christopher", journal = "arXiv:2402.12560", year = "2024", url = "https://arxiv.org/abs/2402.12560" }

@inproceedings{gauthier-etal-2020-syntaxgym, title = "{S}yntax{G}ym: An Online Platform for Targeted Evaluation of Language Models", author = "Gauthier, Jon and Hu, Jennifer and Wilcox, Ethan and Qian, Peng and Levy, Roger", editor = "Celikyilmaz, Asli and Wen, Tsung-Hsien", booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations", month = jul, year = "2020", address = "Online", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2020.acl-demos.10", doi = "10.18653/v1/2020.acl-demos.10", pages = "70--76", }

@inproceedings{hu-etal-2020-systematic, title = "A Systematic Assessment of Syntactic Generalization in Neural Language Models", author = "Hu, Jennifer and Gauthier, Jon and Qian, Peng and Wilcox, Ethan and Levy, Roger", editor = "Jurafsky, Dan and Chai, Joyce and Schluter, Natalie and Tetreault, Joel", booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics", month = jul, year = "2020", address = "Online", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2020.acl-main.158", doi = "10.18653/v1/2020.acl-main.158", pages = "1725--1744", }