BONES

BONES数据集由都灵理工大学的研究团队创建，专注于神经网络对Shapley值的估计。该数据集包含表格和图像数据，旨在支持可解释人工智能（XAI）模型的基准测试。数据集的创建过程结合了先进的神经网络和传统估计方法，以提供可靠的Shapley值计算。BONES数据集的应用领域主要集中在提高AI模型的透明度和解释性，解决复杂预测模型的解释问题。

The BONES Dataset was created by the research team from Polytechnic University of Turin, focusing on neural network-driven estimation of Shapley values. This dataset includes tabular and image data, aiming to support benchmarking for eXplainable Artificial Intelligence (XAI) models. The development of the BONES Dataset combines state-of-the-art neural networks and traditional estimation methodologies to deliver reliable Shapley value computations. The primary application scope of the BONES Dataset centers on improving the transparency and interpretability of AI models, addressing the interpretability challenges of complex predictive models.

原始信息汇总

BONES: 神经估计Shapley值的基准

BONES是一个用于基准测试神经估计Shapley值的Python库。

主要特点

• 解释器方法：提供九种（传统和神经）解释器方法，专门用于Shapley值计算。
• 评估指标：提供五种评估指标来比较模型。
• 数据模态支持：支持两种数据模态，并计划增加更多。

示例

• 表格数据：示例
• 图像数据：示例

开始使用

• 表格数据实验依赖安装： bash pip install requirements_tabular.txt

• 图像数据实验依赖安装： bash pip install requirements_image.txt

表格数据

基准设置

• 模块导入： python from bones.sv.tabular.explainers import FastSHAPModel, ShapRegModel, DASPModel, ExactModel from bones.sv.tabular.datasets import Monks, Census from bones.sv.tabular.metrics import L1, L2, Kendal from bones.sv.tabular.evaluation import Banckmark from bones.sv.tabular.display import TimeSamplePlot, TimeFeaturePlot, BarPlot, QuadrantPlot

• 创建基准： python benchmark=Benchmark( explainers=[FastSHAP, ShapReg, DASP], # 解释器 ground_truth=Exact, # 基准真值 dataset=[Monks, Census, Credit], # 数据集 metrics=[L1, L2, Kendal], # 评估指标 num_samples=100 # 样本数量 ).run()

• 打印结果： python benchmark.print_results(Monks) # 表格结果

可视化

• 样本数量与计算时间关系图： python TimeSamplePlot(benchmark, dataset=Monks, number_sample=100000, interval=10000, sample_method="random").plot()

• 特征数量与推理时间关系图： python TimeFeaturePlot(benchmark).plot()

• Shapley值估计比较图： python BarPlot(bechmark, dataset=Monks).plot()

• 推理时间与距离比较图： python QuadrantPlot(benchmark, dataset=Monks).plot()

图像数据

基准设置

• 模块导入： python from bones.sv.image.explainers import FastSHAP, ViTShapley, DeepExplainer, GradientExplainer from bones.sv.image.datasets import ImageNette from bones.sv.image.metrics import L1, L2, AUC from bones.sv.image.evaluation import Banckmark from bones.sv.image.display import ImagePlot, AUC

• 创建基准： python benchmark=Benchmark( explainers=[ViTShapley, DeepExplainer, GradientExplainer], # 解释器 ground_truth=FastSHAP, # 基准真值 dataset=[ImageNette], # 数据集 metrics=[L1, L2, AUC], # 评估指标 num_samples=100 # 样本数量 ).run()

可视化

• 解释器在特定图像样本上的Shapley值掩码比较图： python ImagePlot(bechmark, datset=ImageNette, sample=0).plot()

• 重要特征包含/排除百分比与AUC关系图： python AUC(benchmark, dataset=ImageNette, num_sample=100).plot()

功能

表格数据

• 传统解释器：Exact, KernelSHAP, Unbiased KernelSHAP, Monte Carlo
• 神经解释器：DeepExplainer, GradientExplainer, FastSHAP, DASP
• 评估指标：L1距离, L2距离, Kendall相关性
• 可视化技术：BarPlot, QuadrantPlot, 时间/特征数量相关性, 时间/样本数量相关性
• 数据集：Monks, Credit, Magic, Census, Winsconsin Breast Cancer

图像数据

• 神经解释器：DeepExplaienr, GradientExplainer, FastSHAP, ViT-Shapley
• 评估指标：L1距离, L2距离, 包含AUC, 排除AUC
• 可视化技术：ImagePlot包含AUC, 排除AUC, 时间/样本数量相关性, ImagePlot
• 数据集：ImageNette, Pet

默认设置

• 表格数据：分类模型为MultiLayerPerceptron
• 图像数据：分类模型为预训练的ViT tiny版本

计划开发

• Python包
• DASP适应PyTorch
• DASP适应Tensorflow 2
• 文本数据支持
• 包含区间Shapley值
• 对齐需求

搜集汇总

数据集介绍

构建方式

BONES数据集的构建旨在解决Shapley Values在现实世界数据集中计算上的不可行性。该数据集通过整合一系列先进的神经和非神经Shapley Values估计器，以及常用的基准数据集，使得研究人员能够轻松地进行模型训练、评估和比较。BONES提供了专用的模块来训练黑盒模型，并生成可靠的基线Shapley Values，以便在没有现成数据的情况下使用。此外，BONES还实现了多种性能评估指标的计算和结果的可视化，以帮助用户更好地理解模型的性能和效率。

特点

BONES数据集的特点在于其多功能性、后置解释能力以及开源、模块化的框架设计。首先，BONES支持多种数据类型，包括表格数据和图像数据，这使得其在不同领域的数据解释性研究中具有广泛的应用前景。其次，BONES允许对已训练模型的预测进行后置解释，这对于实际应用中模型的解释性需求至关重要。最后，BONES的开源和模块化设计促进了研究社区的协作和扩展，用户可以根据自己的需求对框架进行定制。

使用方法

使用BONES数据集的方法包括选择合适的Shapley Values估计器、数据集、评估指标和可视化工具。用户可以通过BONES提供的接口轻松地导入SVs估计器和数据集，选择所需的评估指标，并生成相应的可视化结果。此外，BONES还提供了多种可视化选项，包括条形图、图像图、AUC曲线、象限图以及计算时间与样本数量/特征数量的关系图，以帮助用户全面了解模型的性能和效率。

背景与挑战

背景概述

在人工智能领域，可解释性人工智能（XAI）是当前研究的热点。Shapley Values作为一种重要的XAI工具，能够量化特征对模型预测结果的贡献，从而提高模型的可解释性和可信度。然而，计算Shapley Values的计算复杂度极高，难以在真实世界的数据集上直接应用。为了解决这个问题，研究者们提出了神经估算器来近似计算Shapley Values，从而提高计算效率。BONES数据集正是在这样的背景下诞生的，由意大利都灵理工大学的Davide Napolitano和Luca Cagliero等人创建，旨在为神经估算Shapley Values提供一个基准。该数据集提供了多种最新的神经和传统估算器、常用的基准数据集、训练黑盒模型的专用模块，以及计算评估指标和可视化结果的特定函数。BONES的出现为XAI模型的使用、评估和比较提供了便利，推动了XAI领域的发展。

当前挑战

尽管BONES数据集为神经估算Shapley Values提供了便利，但在实际应用中仍面临一些挑战。首先，神经估算器在计算Shapley Values时，虽然提高了计算效率，但其近似结果的准确性可能会受到影响。其次，现有的XAI项目缺乏对神经估算器的支持，导致难以与其他近似方法进行公平比较。此外，模型测试、评估和比较的标准不统一，限制了神经估算器的应用。为了克服这些挑战，BONES提供了多种神经和传统估算器，以及常用的基准数据集和评估指标，以便研究人员进行准确的模型比较。同时，BONES还提供了可视化工具，帮助研究人员探索模型性能和准确性。未来，BONES将继续扩展其功能，支持更多数据模态、模型和评估指标，以推动XAI领域的发展。

常用场景

经典使用场景

在可解释人工智能（XAI）领域中，BONES数据集以其对Shapley值的神经估计提供了一套完整的基准工具。Shapley值是一种用于解释黑盒预测模型中特征贡献的概念。由于在实际数据集上计算精确的Shapley值计算量巨大，神经估计器作为一种替代的、可扩展的方法应运而生。BONES数据集通过提供一套最先进的神经和传统估计器、一组常用的基准数据集、用于训练黑盒模型的特定模块以及用于计算流行评估指标和可视化结果的函数，极大地简化了XAI模型的评估和比较。

衍生相关工作

BONES数据集的发布推动了XAI领域中神经估计器的研究和应用。它为研究人员提供了一个标准化的平台，用于评估和比较不同神经估计器的性能。此外，BONES的开放源代码架构也鼓励了研究社区的参与，从而促进了新的算法、数据集和评估指标的集成。这些衍生工作对于推动XAI技术的发展具有重要意义，因为它们有助于提高模型的可解释性和可信度。

数据集最近研究

最新研究方向

在可解释人工智能(XAI)领域，Shapley值的神经估计已成为前沿研究热点。BONES数据集的出现，为这一领域的研究提供了强有力的工具。该数据集提供了一个全面的基准，用于神经估计Shapley值，旨在解决传统方法在计算上的不可行性和神经估计器的可访问性问题。BONES集成了先进的神经和传统估计器，提供了一系列常用的基准数据集，以及用于训练黑盒模型的模块和特定功能，以轻松计算最流行的评估指标和可视化结果。该数据集的研究方向主要集中在提高XAI模型的透明度、可解释性和可靠性，特别是在图像和表格数据上。BONES的出现，为XAI研究人员提供了一个平台，可以探索神经解决方案的优缺点，并进行准确模型比较，从而推动XAI在各个领域的应用和发展。

相关研究论文

• BONES: a Benchmark fOr Neural Estimation of Shapley values

  都灵理工大学 · 2024年