场景感知交互融合认知的工业场景图数据集

该数据集面向工业场景感知与交互融合认知任务建设，聚焦真实工业车间环境的视觉理解与语义关系建模需求，针对工业场景图生成、安全状态识别等智能感知任务的专用数据缺口，填补了多模态工业车间场景数据的空白，对推动场景图生成模型在工业领域落地、提升工业智能系统的环境感知与交互决策能力意义重大，可广泛服务于学术研究、技术研发及工业车间智能升级实践。
数据集图像数据通过爬取获得，涵盖多种典型制造场景，包含设备、工具、人员、物料等关键实体；标注数据采用“视觉大模型初标 + 多模态大模型辅助 + 人工校验修正”混合标注策略生成——先由视觉大模型完成目标检测与物体定位，再通过多模态大模型推理物体间语义关系，最后经具备工业背景知识的标注人员逐图审核修正，确保标注准确性与工业合理性。
数据集为多模态数据资源，包含工业车间图像数据与场景图标注数据，采用两级目录结构：一级目录含imgs/图像文件夹及train.json、val.json、test.json、rel.json四个标注文件；二级目录中，imgs/文件夹存储所有JPG格式图像（以“isgg_num.jpg”递增编号），标注文件均为JSON格式。物体标注文件遵循COCO格式，记录图像基本信息、物体类别与边界框（xywh格式）；rel.json文件记录全局语义关系，包含21种物体类别与12种关系类型，以三元组形式存储物体间关联，可支持场景图生成、安全状态识别等多类任务。
数据体量方面，数据集共包含22572张图像，其中训练集17182张、验证集1706张、测试集3684张，配套完整的类别标注、位置标注与语义关系标注，规模适配模型训练、性能评估与实际场景应用验证。
该数据集完全公开共享，支持通用JSON解析工具与主流深度学习框架直接加载，兼容pycocotools等工具包，无需特殊软件即可使用，为工业场景感知交互融合认知研究提供了高质量、结构化的多模态数据支撑。

搜集汇总

背景与挑战

背景概述

该数据集是一个面向工业场景感知与交互融合认知任务的多模态资源，聚焦真实工业车间环境的视觉理解与语义关系建模。它包含22572张图像数据及配套的场景图标注，涵盖设备、工具等关键实体，采用混合标注策略生成，可用于场景图生成和安全状态识别等任务，支持学术研究和工业智能应用。