SKA-Bench|自然语言处理数据集|知识图谱数据集

SKA-Bench是一个结构化知识增强问答数据集，旨在全面评估大型语言模型（LLMs）对结构化知识（如知识图谱和表格）的理解能力。该数据集包含921个实例，涵盖了四种广泛使用的结构化数据形式：知识图谱、表格、知识图谱+文本和表格+文本。SKA-Bench实例由一个问题、一个答案、正知识单元和噪声知识单元组成。为了评估LLMs在理解结构化知识方面的能力，我们将这些实例扩展为四个基本能力测试平台：噪声鲁棒性、顺序无关性、信息整合和负拒绝。通过在8个代表性LLMs上进行实证评估，我们发现现有的LLMs在理解结构化知识方面仍然面临重大挑战，其性能受到噪声量、知识单元顺序和幻觉现象等因素的影响。我们的数据集和代码可以在https://github.com/Lza12a/SKA-Bench上获取。

原始信息汇总

SKA-Bench数据集概述

数据集简介

• 数据集名称：SKA-Bench
• 用途：用于评估大型语言模型（LLMs）在结构化知识理解方面的细粒度基准测试

环境配置

• Python版本：3.9.0
• 依赖库：
  • openai
  • asyncio
  • uvloop

测试集构建

测试类型

1. 噪音鲁棒性
2. 顺序不敏感性
3. 信息整合

构建命令

bash python process_dataset.py --type KG --sequence random --scale 1k

参数说明

• type：数据类型（如KG、Table等）
• sequence：序列类型（如random、original等）
• scale：数据规模（如1k、4k等）

负样本拒绝测试

bash python process_dataset.py --type Table --sequence original --scale 4k --negative_rejection negative_rejection python process_dataset.py --type KG --sequence random --scale 4k --negative_rejection negative_rejection python process_dataset.py --type Table+Text --sequence original --scale 16k --negative_rejection negative_rejection python process_dataset.py --type KG+Text --sequence random --scale 16k --negative_rejection negative_rejection

评估脚本

常规测试

bash python evaluate.py --type <type> --api_key <api_key> --api_url <api_url> --model <model> --dataset_dir ./dataset/Table_original_42_4k.json

负样本拒绝测试

bash python evaluate_negative.py --type KG --api_key <api_key> --api_url <api_url> --model <model> --dataset_dir ./dataset/KG_random_42_4k_negative_rejection.json python evaluate_negative.py --type Table --api_key <api_key> --api_url <api_url> --model <model> --dataset_dir ./dataset/Table_original_42_4k_negative_rejection.json python evaluate_negative.py --type KG+Text --api_key <api_key> --api_url <api_url> --model <model> --dataset_dir ./dataset/KG+Text_random_42_16k_negative_rejection.json python evaluate_negative.py --type Table+Text --api_key <api_key> --api_url <api_url> --model <model> --dataset_dir ./dataset/Table+Text_original_42_16k_negative_rejection.json

参数说明

• <type>：数据类型
• <api_key>：API密钥
• <api_url>：API地址
• <model>：模型类型
• dataset_dir：数据集路径

AI搜集汇总

数据集介绍

构建方式

SKA-Bench的构建采用了三阶段流程，包括问题-答案对的收集、正知识单元的迭代标注以及噪声单元的合成。首先，从多个现有结构化知识理解数据集中随机选取样本，涵盖知识图谱、表格及其与文本的混合形式。随后，通过专家标注确定每个问题的正知识单元，并利用大语言模型验证标注的合理性。最后，通过自动化方法合成噪声单元，确保其不影响原始答案的正确性。整个过程强调数据的多样性和复杂性，以全面评估大语言模型的结构化知识理解能力。

特点

SKA-Bench的特点在于其细粒度的评估框架和多样化的知识形式。数据集包含四种常见的结构化数据类型：知识图谱、表格、知识图谱与文本的混合以及表格与文本的混合。每个实例由问题、答案、正知识单元和噪声单元组成，支持构建四个基础能力测试集：噪声鲁棒性、顺序不敏感性、信息整合和负面拒绝。此外，数据集通过长结构化知识库和详细的推理路径标注，提供了对大语言模型能力的全面诊断。

使用方法

SKA-Bench的使用方法主要包括四个测试集的评估。在噪声鲁棒性测试中，通过引入不同比例的噪声单元，评估模型在噪声环境下的表现。顺序不敏感性测试通过改变知识单元的顺序，检验模型对顺序变化的适应能力。信息整合测试则关注模型整合多个知识单元或异构数据的能力。负面拒绝测试评估模型在面对无正知识单元时的拒绝能力。每个测试集均采用标准化的评估指标，如宏F1分数和拒绝率，确保评估的科学性和可比性。

背景与挑战

背景概述

SKA-Bench是由浙江大学与蚂蚁集团知识图谱联合实验室的研究团队于2023年提出的结构化知识理解评测基准。该数据集针对大语言模型在知识图谱、表格等结构化知识理解能力的系统性评估需求，创新性地整合了四种典型结构化知识形式（KG、Table、KG+Text、Table+Text），通过三阶段构建流程形成了包含921个问答实例的评测体系。其核心研究价值在于解决了现有评测方法在细粒度能力评估（噪声鲁棒性、顺序无关性等）和多模态知识融合测试方面的局限性，为揭示LLMs在复杂结构化知识理解中的瓶颈提供了标准化测量工具。

当前挑战

领域挑战方面，SKA-Bench需解决结构化知识特有的三大难题：1) 长距离依赖捕获（如跨多跳的知识图谱推理）；2) 异构数据融合（表格与文本的联合理解）；3) 噪声干扰下的精确推理。构建挑战体现在：1) 高质量正例知识单元标注需要专家级领域知识；2) 表格数据的语义完整性保持与噪声注入平衡；3) 多模态知识单元的逻辑关联验证。实验表明，即使GPT-4o等先进模型在24k令牌规模的噪声知识库上准确率仍下降38%，凸显了结构化知识理解的复杂性。

常用场景

经典使用场景

在自然语言处理领域，SKA-Bench数据集为评估大型语言模型（LLMs）对结构化知识（如知识图谱和表格）的理解能力提供了精细化的基准。该数据集通过包含四种广泛使用的结构化知识形式（KG、Table、KG+Text、Table+Text），并结合问题-回答对、正面知识单元和噪声知识单元，为研究者提供了一个全面的评估平台。其经典使用场景包括测试模型在噪声鲁棒性、顺序不敏感性、信息整合和负面拒绝等方面的能力。

实际应用

在实际应用中，SKA-Bench可用于优化金融报告分析、产品知识图谱查询等场景中LLMs的表现。例如，在金融领域，模型需要从包含大量表格和文本的混合数据中提取关键信息；在电子商务中，模型需理解产品知识图谱以回答复杂查询。通过在该数据集上的评估，开发者能够针对性地提升模型在真实场景中的鲁棒性和准确性。

衍生相关工作

SKA-Bench的构建借鉴了多种经典工作的设计思路，如WebQSP和CWQ（知识图谱问答）、WTQ和TableBench（表格问答）以及HybridQA和STaRK（混合数据问答）。这些工作为SKA-Bench提供了数据基础和评估框架。同时，该数据集进一步衍生出对LLMs在长上下文、异构数据整合等新能力的测试需求，推动了如DeepSeek-R1等模型在结构化知识理解领域的优化。