MITO

MITO数据集是由麻省理工学院创建的，包含多种日常物体的多光谱毫米波图像。该数据集利用机器人臂上的毫米波雷达捕获了超过580个真实世界的3D毫米波图像，这些图像来源于76个不同的物体，既有视线内也有视线外的场景。数据集还包括相应的RGB-D图像和地面真实分割掩模，以及一个开源的仿真工具，可用于生成任意3D三角形网格的合成毫米波图像。MITO旨在推动计算机视觉研究者开发基于毫米波的非视线感知算法和模型。

The MITO Dataset, developed by the Massachusetts Institute of Technology (MIT), contains multispectral millimeter-wave images of various daily objects. Over 580 real-world 3D millimeter-wave images were captured using a millimeter-wave radar mounted on a robotic arm, sourced from 76 distinct objects across both line-of-sight (LoS) and non-line-of-sight (NLoS) scenarios. The dataset also includes corresponding RGB-D images, ground-truth segmentation masks, and an open-source simulation tool capable of generating synthetic millimeter-wave images for arbitrary 3D triangular meshes. The MITO Dataset aims to advance computer vision researchers in developing millimeter-wave-based non-line-of-sight perception algorithms and models.

搜集汇总

数据集介绍

构建方式

MITO数据集的构建采用了先进的机器人成像系统，该系统由一个UR5机械臂、两个工作在不同频率的毫米波雷达以及一个RGB-D相机组成。通过一个雷达信号处理流程，数据集收集了超过580个真实世界的3D毫米波图像，这些图像来自于YCB数据集中的76个不同物体。每个物体都提供了在视线内和非视线内的真实世界毫米波图像，以及RGB-D图像和地面实况分割掩膜。此外，还开发了一个开源的仿真工具，可用于为任何3D三角形网格生成合成毫米波图像。

特点

MITO数据集的特点在于其真实世界数据的多光谱性，提供了在不同频率下的毫米波图像，这允许研究人员探索分辨率与穿透障碍物能力之间的权衡。数据集包含了视线内和非视线内的图像，以及RGB-D图像和分割掩膜，为计算机视觉研究人员提供了丰富的数据资源。此外，数据集还包括一个开源的仿真工具，可以生成合成的毫米波图像，这有助于扩大数据集规模并促进模型训练。

使用方法

MITO数据集的使用方法包括直接使用收集到的真实世界毫米波图像进行研究和开发，以及使用开源仿真工具生成合成图像。研究人员可以利用这些数据集进行毫米波图像分割、分类等计算机视觉任务，以开发非视线感知算法和模型。数据集还包括用于下载、处理数据和可视化图像的Python和CUDA脚本，使得使用过程更加便捷。

背景与挑战

背景概述

随着计算机视觉的快速发展，对于机器人操作和感知的需求日益增长。然而，现有的光学感知系统（如相机、激光雷达等）受限于视线范围，难以在遮挡环境中工作。毫米波（mmWave）雷达因其能够穿透日常遮挡物（如纸箱、织物、塑料等）的特性，为非视线感知提供了可能。MITO数据集的创建旨在解决这一领域难题，为计算机视觉研究人员提供多光谱mmWave图像数据，推动非视线感知算法和模型的发展。MITO数据集由麻省理工学院（MIT）的研究团队于2025年创建，包含76个来自YCB数据集的日常物体在视线和非视线条件下的mmWave图像，以及相应的RGB-D图像和地面真实分割掩码。此外，MITO还提供了一个开源的模拟工具，可用于生成任意3D三角形网格的合成mmWave图像，为模型训练提供更多数据。

当前挑战

MITO数据集和相关模拟工具的创建面临了多个挑战。首先，现有的mmWave图像数据稀缺，且收集和处理mmWave信号具有跨学科性，导致计算机视觉研究人员难以开发基于mmWave的非视线感知算法和模型。其次，mmWave图像与可见光图像在多个方面存在本质差异，如雷达特有的伪影、无颜色信息和复数特性，需要新的算法或模型来适应非视线感知。此外，如何准确模拟不同材料的mmWave信号反射特性也是一个挑战。为了解决这些挑战，MITO数据集提供了多光谱mmWave图像，以及开源的模拟工具，为研究人员提供更多数据和工具支持。同时，MITO还展示了两个计算机视觉任务，即mmWave图像的目标分割和分类，证明了数据集和模拟工具的有效性。

常用场景

经典使用场景

MITO数据集的经典使用场景是通过毫米波（mmWave）雷达技术实现对日常物体的非视距（NLOS）感知。该数据集包含了在视距（LOS）和非视距条件下，使用24GHz和77GHz两种不同频率的毫米波雷达获取的超过580张真实世界物体的三维图像。这些图像与RGB-D相机捕获的图像以及地面真实分割掩码相结合，为计算机视觉研究人员提供了开发非视距感知算法和模型的宝贵资源。

实际应用

MITO数据集的实际应用场景广泛，包括但不限于：1. 机器人操作和感知：通过毫米波雷达，机器人能够在非视距条件下识别和操作物体，例如从封闭的盒子中取出物品，或者在复杂的仓储环境中导航。2. 安全监控：毫米波雷达可以穿透墙壁、烟雾等障碍物，实现隐蔽目标检测，例如机场安检、边境巡逻等。3. 医疗成像：毫米波成像技术可以用于体内器官的成像，例如乳腺成像、血管成像等。4. 汽车自动驾驶：毫米波雷达可以用于车辆周围环境的感知，例如车辆检测、行人检测等。

衍生相关工作

MITO数据集的发布引发了大量相关研究，推动了非视距感知领域的发展。例如，研究人员利用MITO数据集训练了能够实现毫米波图像分割和分类的深度学习模型，这些模型在真实世界场景中取得了较高的准确率。此外，MITO数据集还促进了毫米波成像仿真技术的发展，研究人员开发了一系列开源的毫米波成像仿真工具，这些工具可以帮助研究人员快速生成大量的毫米波图像数据，用于模型的训练和评估。