OpenXAI

DataONE2024-02-17 更新2024-06-08 收录

可解释性评估

后解释方法基准测试

数据链接：

https://search.dataone.org/view/sha256:34984f042a123d68292b75b0d14108c824d01150c985408e1ccb3167540ddce5 数据链接链接失效反馈

官方服务：

资源简介：

Pre-trained models and datasets for benchmarking post hoc explanation methods

创建时间：

2024-03-06

GCRC

机器阅读理解

可解释性评估

GCRC是一个新的挑战性MRC数据集，源自高考中文，用于可解释性评估。该数据集包含超过5000个文本和超过8700个多项选择题（约15000个选项），并标注了句子级支持事实、干扰项的错误原因以及回答问题所需的推理技能。相关实验表明，这个数据集更具挑战性，对于诊断系统的局限性非常有用，并将帮助研究人员开发新的机器学习和推理方法来解决这些未来挑战性问题。

github2021-12-30 更新480

XTSC-Bench

时间序列

可解释性评估

XTSC-Bench是由FZI Research Center for Information Technology创建的数据集，专注于时间序列分类的解释性评估。该数据集包含120个合成数据集，分为单变量和多变量两种类型，每个数据集包含50个时间步长。数据集通过模拟不同的时序过程和信息特征生成，旨在为评估解释方法提供标准化的数据基础。XTSC-Bench的应用领域主要集中在提高时间序列分类模型的解

arXiv2023-10-23 更新290

预训练语言模型可解释性评估基准

预训练语言模型

可解释性评估

预训练语言模型可解释性评估基准是由百度公司开发的一个创新数据集，旨在评估预训练语言模型在多个维度上的表现，包括语法、语义、知识、推理和计算。该数据集包含中英文标注数据，通过精心设计的实例和标注的token级理由，测试模型在不同任务上的预测性能和可解释性。数据集的创建过程包括数据收集、扰动数据构建和迭代理由标注与检查，确保数据质量和多样性。该评估基准的应用领域广泛，旨在解决预训练语言模型在特定任务上

arXiv2022-07-28 更新100

EXTRA

推荐系统

可解释性评估

数据集EXTRA由香港浸会大学创建，包含三个子数据集，旨在通过标准排名指标评估推荐解释的可解释性。这些数据集基于用户生成的评论，通过高效的方法如局部敏感哈希（LSH）处理，以确保解释的质量和多样性。数据集适用于推荐系统领域，特别是解决推荐解释的评估和个性化问题。

arXiv2021-05-08 更新370

anab/ACORN

常识推理

可解释性评估

ACORN数据集包含3500条人类编写和LLM生成的解释，每条解释都有由人类给出的质量评分。数据集的主要字段包括问题、选择、标签、解释、投票评分和工人评分。解释质量评价包括一般评分和细粒度评分，假设理想的解释是流畅、充分、最小化和对比性的。数据集的来源包括ECQA、CoS-E、COPA-SSE等多个来源，每个来源有500个样本，总计3500个样本。

Hugging Face2024-05-23 更新250

OpenXAI

资源简介：

相关数据集