全国电力视觉感知与推理大模型评测数据

本数据可作为“标准化考卷”，量化评估基座大模型（如GPT-4V）及行业专用模型在电力场景下的细粒度感知、逻辑推理及幻觉抑制能力，为基座大模型应用于电力视觉领域的科学评估和能力诊断提供了标准化工具。一，多维度能力体检，从感知层（能否看清微小裂纹、识别复杂设备部件）、知识层（是否理解电力安规、设备原理）到推理层（能否基于视觉信息推断故障成因、预测潜在风险），全方位量化模型的“智商”与“专业度”。二，细粒度诊断与纠偏，通过12项细分任务和130类精细标签，该评测不仅能给出“多少分”，更能给出“错在哪”。三，长尾场景与幻觉监测，特别针对电力行业“样本少、危害大”的长尾故障（如鸟巢异物、绝缘子微裂）进行重点测试，评估模型是否会出现“一本正经胡说八道”的幻觉现象，为基座大模型的行业化微调（SFT）提供精准的靶向数据支持。

搜集汇总

背景与挑战

背景概述

该数据集作为电力视觉领域的标准化评测工具，旨在量化评估基座大模型在电力场景下的细粒度感知、逻辑推理及幻觉抑制能力。通过涵盖感知层、知识层和推理层的多维度能力诊断，结合12项细分任务与130类精细标签，实现对模型专业度的全面评估。特别针对电力行业长尾故障场景，数据集重点测试模型的幻觉表现，为行业化微调提供靶向数据支持。