Tunnels Dataset, Factory Dataset, Corridors Dataset

本研究贡献了三个基于图像的数据集，用于室内机器人探索场景中的异常检测。这些数据集包含超过20万标记帧，覆盖多种异常类型，如灰尘、湿顶和细根等。数据集由模拟和真实世界场景中的无人机和地面机器人采集，分为训练和测试集，用于训练基于自编码器的异常检测模型。这些数据集旨在帮助机器人识别未知环境中的潜在危险，从而提高自主操作的安全性。This study contributes three image-based datasets for anomaly detection in indoor robotic exploration scenarios. These datasets contain over 200,000 labeled frames and cover a variety of anomaly types, such as dust, wet ceilings, fine roots, and others. Collected by unmanned aerial vehicles (UAVs) and ground robots in both simulated and real-world scenarios, the datasets are split into training and test sets for training autoencoder-based anomaly detection models. These datasets aim to help robots identify potential hazards in unknown environments, thereby improving the safety of autonomous operations.

搜集汇总

数据集介绍

构建方式

在移动机器人自主探索未知环境的视觉感知研究背景下，Tunnels Dataset、Factory Dataset与Corridors Dataset三个数据集应运而生，旨在捕捉机器人视觉数据流中可能预示未知危险的语义异常模式。Tunnels Dataset由Hovering Solutions Ltd提供，源自模拟无人机在程序生成的地下隧道中飞行的灰度帧，隧道呈现输水系统典型特征，如随机尺寸与曲率、地板结构、墙壁管线及规则间隔的顶部装置，无人机沿隧道中心线飞行并携带同轴聚光灯照明。Factory Dataset则来自真实无人机在工厂测试设施中飞行的灰度帧，环境几乎仅由机载聚光灯照明。Corridors Dataset包含由远程遥控全向地面机器人在大学地下走廊探索时采集的RGB帧，机器人搭载前视摄像头，沿走廊中心行进。每个数据集划分为仅含正常帧的训练集与验证集、带标签的测试集（包含多种异常类别）及未标记的定性测试序列，总计超过20万帧标注图像。

特点

三个数据集共同展现了机器人视觉异常检测的多样性与挑战性，其核心特点在于异常类型涵盖从全局环境变化到局部细微缺陷的广泛尺度。Tunnels Dataset包含灰尘、湿天花板及悬挂植物根系三种异常，分别对应无人机在输水系统中可能遭遇的状态估计干扰、水滴坠落风险及直接碰撞危险。Factory Dataset呈现雾气与信号带两种异常，分别代表大尺度与小尺度异常。Corridors Dataset则囊括水坑、地面电缆、悬挂电缆、地面垫子、人类出现、螺丝螺栓、摄像头缺陷及玻璃纸薄膜八种异常，覆盖从细微环境特征到全局图像变化的完整光谱。这些异常在物理意义上与机器人任务紧密相关，且标注过程严格排除在512×512全分辨率下不可见的模糊实例，确保测试集的可靠性。

使用方法

数据集的使用方法围绕基于自编码器的异常检测框架展开，该框架以帧级异常检测为目标，通过多尺度图像下采样实现灵活适应。具体而言，将输入帧按因子s∈{1,2,4,8}进行下采样（分别对应模型S1至S8），得到分辨率递减的图像；随后从下采样图像中随机提取Np个64×64像素的补丁，每个补丁由自编码器计算重建误差作为补丁级异常分数，这些分数通过平均或分位数聚合形成帧级分数。自编码器采用四层卷积编码器与对称解码器结构，瓶颈大小为16个神经元，首层卷积滤波器数为128。训练时使用Adam优化器最小化均方重建误差，总样本数为200万。在测试中，通过计算ROC曲线下面积（AUC）评估性能，理想检测器AUC为1。该方法成功检测多数异常，平均AUC达0.82，尤其对全局异常效果显著。

背景与挑战

背景概述

在机器人自主导航领域，视觉感知系统对于识别环境中的潜在危险至关重要，然而传统方法通常仅能应对预先定义好的障碍物。2022年，由IDSIA、USI-SUPSI与Hovering Solutions Ltd的研究人员Dario Mantegazza等人共同提出了三个图像数据集——Tunnels Dataset、Factory Dataset和Corridors Dataset，旨在推动机器人视觉异常检测研究。这些数据集聚焦于检测与机器人过往经验相异的语义异常模式，这些模式可能代表未预见的危险，如隧道中的扬尘、湿顶或垂挂的植物根系，工厂环境中的薄雾与警示胶带，以及走廊中的水洼、电缆、人类活动等。研究团队通过模拟与现实场景采集了超过20万帧标注图像，为异常检测算法提供了标准化基准，对提升自主机器人在高风险环境下的安全性与鲁棒性具有重要影响。

当前挑战

该数据集面临的核心挑战在于多尺度异常检测的平衡：全局性异常（如工厂薄雾）易被低分辨率模型捕获，但局部细微异常（如隧道中的细小根系或走廊中的透明胶带）则需高分辨率输入才能识别，两者难以兼得。构建过程中，异常定义的客观性是一大难题——同一视觉模式对不同机器人（如轮式与飞行器）可能意味着截然不同的风险等级，需依赖专家判断进行标注。此外，数据采集需确保异常样本的真实性与多样性，同时避免因相机视角、光照变化或运动模糊导致误判。最终，如何使模型在实时推理中高效融合多尺度信息，并避免对正常数据的过度重建，成为算法设计的核心瓶颈。

常用场景

经典使用场景

在自主移动机器人视觉感知领域，Tunnels Dataset、Factory Dataset 与 Corridors Dataset 构成了一个面向异常检测的综合性基准平台。这些数据集分别模拟或采集了无人机在隧道巡检、工厂环境飞行以及地面机器人在走廊探索中的视觉流，涵盖了超过20万帧标注图像。其核心使用场景在于评估基于图像的重建误差异常检测方法，尤其是不同尺度下自编码器对帧级与补丁级异常的判别能力。通过设置多尺度下采样策略（S1至S8），研究者能够系统性地考察模型对全局性异常（如雾气弥漫）与局部性异常（如悬挂电缆）的敏感度，从而为机器人视觉中的异常感知提供可复现的评估范式。

实际应用

在实际工程部署中，这些数据集所支撑的异常检测模型已被应用于无人机自主巡检与地面机器人巡逻任务。例如，在隧道涵洞检测场景中，搭载机载计算单元的无人机能够实时分析前视摄像头图像，当检测到粉尘浓度异常、顶壁湿滑或植物根系悬挂时，立即触发回避行为并回溯至入口，从而避免因碰撞导致的硬件损毁与任务失败。同样，在工厂环境中，模型可识别因雾机产生的雾气或信号胶带等临时障碍，保障飞行安全。对于走廊巡逻机器人，该框架能感知地面水渍、散落螺丝、悬挂电缆乃至镜头污损，使机器人在无人工干预下自主决策，显著提升高危或通信受限环境下的任务成功率。

衍生相关工作

基于这些数据集，学术界已衍生出多项具有影响力的后续工作。其中最具代表性的是将自编码器与归一化流（如Real-NVP）相结合的异常检测框架，该方法在足式机器人ANYmal的地面可通行性评估中展现出优异性能，通过比较Deep SVDD、标准自编码器与流模型在足迹图像上的表现，揭示了潜在空间密度估计对于异常判别的提升作用。此外，Inception-like自编码器被提出用于快速距离度量异常检测，在MNIST与CIFAR等经典视觉数据集上验证了瓶颈层池化输出的判别有效性。这些衍生工作不仅拓展了原始数据集的应用边界，还促进了从单一重建误差到多模态异常评分融合的技术演进，推动了机器人视觉异常检测领域从实验验证向实用化部署的转化。