InspecSafe-V1

InspecSafe-V1 是一个高质量、多模态标注的数据集，专为工业环境中的世界模型构建和分析而设计。数据集采集自真实工业场景中的巡检机器人，经过精心清理和标准化，适用于工业场景下的预测世界建模研究和应用。数据集覆盖了五种代表性工业场景：隧道、电力设施、烧结设备、石油/天然气/化工厂和煤炭输送走廊。数据来自41台轮式或轨道式巡检机器人在2,239个有效巡检点采集的多模态记录，包括可见光视频、红外视频、音频、深度或LiDAR点云、气体浓度读数、温度和湿度等。根据巡检机器人、传感配置和巡检点条件的不同，每个巡检点可能包含部分或全部模态类型。此外，数据集还提供了可见光图像中工业对象的像素级多边形分割标注，以及基于实际巡检协议的语义场景描述和安全等级标签。数据集分为训练集和测试集，采用结构化目录布局，确保多模态流和标注的对齐。训练集包含3,763个样本，测试集包含1,250个样本。数据集采用CC-BY-4.0许可证发布。InspecSafe-V1 is a high-quality, multi-modal annotated dataset specifically designed for the construction and analysis of world models in industrial environments. The dataset is collected from inspection robots in real industrial scenarios, carefully cleaned and standardized, suitable for predictive world modeling research and applications in industrial settings. The dataset covers five representative industrial scenarios: tunnels, power facilities, sintering equipment, oil/gas/chemical plants, and coal conveyor corridors. The data comes from multi-modal records collected by 41 wheeled or rail-mounted inspection robots at 2,239 valid inspection points, including visible light videos, infrared videos, audio, depth or LiDAR point clouds, gas concentration readings, temperature and humidity, etc. Depending on the inspection robot, sensor configuration, and inspection point conditions, each inspection point may contain some or all of the modality types. In addition, the dataset provides pixel-level polygonal segmentation annotations for industrial objects in visible light images, as well as semantic scene descriptions and safety level labels based on actual inspection protocols. The dataset is divided into training and test sets, with a structured directory layout to ensure alignment of multi-modal streams and annotations. The training set contains 3,763 samples, and the test set contains 1,250 samples. The dataset is released under the CC-BY-4.0 license.

原始信息汇总

数据集概述

InspecSafe-V1 是一个面向工业环境世界模型构建与分析的高质量多模态标注数据集。

数据来源与场景

• 数据来自部署在工业现场的巡检机器人，覆盖 5 种典型工业场景：
  • 隧道
  • 电力设施
  • 烧结设备
  • 油气/化工厂
  • 煤炭输送带廊道
• 使用了 41 台轮式或轨道式巡检机器人，在 2,239 个有效巡检航点 采集数据。

多模态数据类型

每个航点的多模态记录可能包含以下部分或全部类型：

• 可见光视频（.mp4）
• 红外视频（.mp4）
• 音频（.wav）
• 深度或激光雷达点云（.bag，ROS bag格式）
• 气体浓度读数（.txt）
• 温度（.txt）
• 湿度（.txt）

标注信息

• 为可见光图像提供 像素级多边形分割标注（.json 文件，含实例ID和元数据）
• 每个样本附带 语义场景描述（.txt 文件）
• 基于实际巡检规范提供 安全等级标签

数据集结构

• 分为训练集（3,763 个样本）和测试集（1,250 个样本），无单独验证集。
• 目录结构按功能模块组织：
  • Annotations/：包含 Normal_data 和 Anomaly_data 子文件夹，每个巡检点对应一个文件夹，内含 .jpg（可见光图像）、.json（分割标注及元数据）、.txt（场景语义描述）。
  • Other_modalities/：包含与同一巡检点标识符对应的多模态文件（视频、传感器日志、点云、音频）。
  • Parameters/：包含硬件规格、软件设置和校准文件。

数据使用

• 通过共享的巡检点标识符实现多模态数据与标注的跨模态对应。
• 支持监督学习和世界建模任务。

许可协议

• 采用 CC-BY-4.0 许可证。

搜集汇总

数据集介绍

构建方式

InspecSafe-V1 数据集的构建源于对工业环境中部署的巡检机器人所采集真实数据的系统性整合。研究团队从隧道、电力设施、烧结设备、石油/天然气/化工厂以及输煤廊道五种典型工业场景中，利用41台轮式或轨道式巡检机器人，在2239个有效巡检点位进行数据采集。每个点位的多模态记录涵盖了可见光视频、红外视频、音频、深度或激光雷达点云、气体浓度读数、温度及湿度等信号，且不同模态的组合依据机器人的传感器配置与点位条件灵活选取。原始数据经过严格的清洗与标准化处理，并基于实际巡检协议为每个样本赋予语义场景描述与安全等级标签，最终形成了结构化的训练集与测试集。

特点

该数据集的核心特点在于其高度多模态性与工业场景的真实性。数据不仅融合了视觉、听觉、深度感知与环境传感等多种信息源，还通过共享的巡检点位标识符实现了各模态间的精准对齐，为多模态融合学习与预测世界建模提供了理想基础。此外，数据集提供了工业目标像素级多边形分割标注，并搭配语义描述和安全标签，兼顾了细粒度理解与高层次推理需求。覆盖五种工业场景、大量巡检机器人与点位的设计，确保了数据的多样性与代表性，有力支撑了复杂工业环境下世界模型的鲁棒构建与分析。

使用方法

数据集以清晰的目录结构组织，分为训练集与测试集。在Annotations目录下，Normal_data与Anomaly_data子文件夹分别存储正常与异常样本，每个样本包含可见光图像（.jpg）、多边形分割标注（.json）及场景语义描述（.txt）。Other_modalities目录中的多模态数据（如视频、传感器日志、点云、音频）通过相同的巡检点位标识符与标注实例关联。Parameters目录提供了硬件与标定文件，支持跨模态解析。用户可根据训练集中的3,763个样本和测试集中的1,250个样本开展监督学习或世界建模任务，并可自主从训练集中划分验证集以适应具体需求。数据集采用CC-BY-4.0许可协议，鼓励学术界与工业界广泛使用。

背景与挑战

背景概述

在工业安全与自动化巡检领域，构建能够感知复杂环境并预测动态变化的世界模型已成为研究热点。InspecSafe-V1数据集应运而生，由TetraBOT团队于近期创建，旨在为工业场景下的世界模型构建与分析提供高质量的多模态标注数据。该数据集源自41台轮式或轨道式巡检机器人在隧道、电力设施、烧结设备、油气化工厂及输煤廊道等五大典型工业场景中采集的真实数据，覆盖了2,239个有效巡检点。通过融合可见光视频、红外视频、音频、深度或激光雷达点云、气体浓度、温度与湿度等多种模态信息，并对可见光图像进行像素级多边形分割标注，辅以语义场景描述与安全等级标签，InspecSafe-V1为工业环境下的多模态感知、异常检测与预测建模提供了标准化的基准资源，有望推动智能巡检与工业安全领域的技术进步。

当前挑战

InspecSafe-V1数据集所解决的领域核心挑战在于工业环境中的多模态世界模型构建，尤其是如何从异构传感器数据中提取可靠的环境表征以支持安全状态的实时评估与预测。具体而言，工业场景存在光照多变、粉尘遮挡、设备振动及危险气体泄漏等复杂因素，使得单一模态难以完整刻画环境状态，亟需多模态数据的协同融合。此外，数据集构建过程中亦面临多重挑战：不同巡检机器人的传感器配置各异，导致各巡检点所包含的模态子集不统一，增大了数据标准化与对齐的难度；像素级分割标注在工业目标轮廓模糊且背景杂乱的条件下精度要求极高；而来自真实部署场景的数据还包含噪声、缺失值与时间同步误差等问题，需经过严格的清洗与校准后方可转化为高质量的训练与测试样本。

常用场景

经典使用场景

InspecSafe-V1数据集最经典的使用场景聚焦于工业环境下多模态世界模型的构建与因果推理研究。该数据集收录了来自隧道、电力设施、烧结设备、油气化工厂及输煤栈桥五大典型工业场景的巡检数据，涵盖了可见光视频、红外视频、音频、深度或激光雷达点云、气体浓度、温湿度等多种模态信息。研究者可利用这些对齐良好的多模态记录，训练能够理解工业场景动态演化规律的预测模型，例如基于视觉与传感器融合的未来状态预测、异常事件的前置信号捕捉等。该数据集为工业场景下的智能体感知与决策提供了真实、标准化且具备像素级标注的基准资源。

解决学术问题

InspecSafe-V1致力于解决工业环境中多模态感知数据的稀缺性与标注不一致难题。当前学术界在工业场景建模方面面临数据采集成本高昂、模态缺失、标签标准化不足等瓶颈，限制了世界模型在真实部署中的泛化能力。该数据集通过提供41台巡检机器人在2239个有效路点采集的多模态对齐样本，并配以像素级多边形分割标注、场景语义描述及安全等级标签，为工业异常检测、场景理解与风险评估等任务提供了可靠的数据基础。其意义在于推动从单模态视觉分析向多模态融合建模的范式演进，并为工业智能系统的可解释性与鲁棒性研究开辟了新路径。

衍生相关工作

InspecSafe-V1的发布催生了多项衍生研究工作。学术社区基于该数据集探索了多模态时序融合网络用于工业场景的前兆异常检测，提出了结合可见光与红外视频、点云与传感器时序数据的跨模态特征对齐方法。另一方向聚焦于世界模型的构建，即利用对齐的多模态序列学习工业环境的状态转移函数，实现未来帧预测与异常仿真。像素级分割标注激发了面向工业对象的实例分割与语义理解研究，推动了从检测到精细行为级建模的发展。这些工作不仅验证了数据集在多任务评估中的有效性，也为工业智能的自主环境建模奠定了理论与实验基础。