X-FACT
收藏资源简介：
X-FACT是一个新的多语言事实检查基准数据集，旨在通过提供跨语言的事实检查数据来推动多语言事实检查技术的发展。数据集包含了多种语言的事实检查数据，包括训练集、开发集和测试集，以及用于评估的零样本测试数据。
X-FACT is a novel multilingual fact-checking benchmark dataset designed to advance the development of multilingual fact-checking technologies by providing cross-lingual fact-checking data. The dataset encompasses fact-checking data in multiple languages, including training sets, development sets, and test sets, along with zero-shot test data for evaluation purposes.
数据集概述
数据集名称
- X-FACT
数据集内容
- 数据文件：
train.all.tsv：训练数据dev.all.tsv：开发数据test.all.tsv：领域内测试数据ood.tsv：领域外测试数据zeroshot.tsv：零样本评估测试数据
- 标签映射文件：
label_maps/目录下包含手动创建的每个网站的标签映射master_mapping.tsv：所有可能翻译标签的标签映射factual.ro.txt：factual.ro网站的标签映射
数据集使用
- 访问方式：可通过
datasets库在 https://huggingface.co/datasets/utahnlp/x-fact 访问
模型训练
- 训练命令：
- Claim-only 模型：使用
run_xfact.py脚本，参数包括模型路径、数据目录、最大序列长度等 - Attn-EA 模型：使用
run_xfact_evidence_attention.py脚本，参数包括模型路径、数据目录、最大序列长度等
- Claim-only 模型：使用
模型评估
- 评估命令：使用
run_xfact_evidence_attention.py脚本进行评估，可通过更改--evaluate_file参数来评估不同数据集（领域内、领域外、零样本）
引用信息
-
引用格式：
@inproceedings{gupta2021xfact, title={{X-FACT: A New Benchmark Dataset for Multilingual Fact Checking}}, author={Gupta, Ashim and Srikumar, Vivek}, booktitle = "Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics",
month = jul, year = "2021", address = "Online", publisher = "Association for Computational Linguistics", }
