SenseShift6D

SenseShift6D是一个用于6D姿态估计的RGB-D数据集，由首尔国立大学数据科学研究院的研究人员创建。该数据集涵盖了13种RGB曝光、9种RGB增益、自动曝光、4种深度捕捉模式和5种照明水平，包含101.9k RGB图像和10k深度图像，为每个物体姿态提供了1,380种独特的传感器-照明排列。数据集的创建旨在研究传感器控制和自适应感知系统在动态真实世界环境中的鲁棒性。

SenseShift6D is an RGB-D dataset for 6D pose estimation, developed by researchers from the Data Science Research Institute of Seoul National University. This dataset includes 13 RGB exposure settings, 9 RGB gain levels, automatic exposure mode, 4 depth capture modes, and 5 illumination levels, containing 101.9k RGB images and 10k depth images, with 1,380 unique sensor-illumination configurations for each object pose. The dataset is designed to investigate the robustness of sensor control and adaptive perception systems in dynamic real-world environments.

搜集汇总

数据集介绍

构建方式

SenseShift6D数据集通过系统化的物理采集流程构建，采用Intel RealSense D455相机在暗室环境下捕获数据。研究团队精心设计了13种RGB曝光时间、9种RGB增益设置、4种深度捕捉模式以及5种光照强度等级，针对喷罐、品客薯片筒和金属罐三类日常物品，共采集101.9k幅RGB图像和10k幅深度图像。通过电机转台精确控制物体位姿，并采用ChArUco标定板结合手工精修的方式确保6D姿态标注精度达到约3mm误差水平，最终形成包含1,380种独特传感器-光照组合的多样化数据集。

特点

该数据集的核心价值在于其首创性地实现了多模态传感器参数的物理遍历，突破了传统数据集中固定光照和相机设置的局限。通过真实捕获非线性色彩偏移、光子散粒噪声和深度模式特有伪影等自然传感器特征，提供了合成数据无法复现的真实世界变异特性。数据集严格划分Train-Def、Train-Var、Test-Def和Test-Var四个子集，支持从默认配置到全参数网格的渐进式研究，为传感器自适应6D姿态估计建立了首个系统性测试基准。

使用方法

使用SenseShift6D时，研究者可通过Hugging Face平台获取标准化的数据分划。建议采用PBR合成数据结合物理采集数据的混合训练策略，重点关注测试时传感器控制策略的评估。对于RGB-D模型，可探索深度模式选择与RGB参数调整的协同优化，利用数据集中精确的位姿标注和丰富的元数据（如曝光时间、增益值等）进行传感器感知的鲁棒性分析。实验评估推荐采用ADD和AUC@[0:0.1]指标，以全面衡量模型在不同传感器配置下的姿态估计精度。

背景与挑战

背景概述

SenseShift6D是由首尔国立大学数据科学研究生院和光州科学技术院的研究团队于2025年推出的首个多模态RGB-D基准数据集，专注于在环境与传感器变化下的6D物体姿态估计。该数据集通过系统性地物理调节13种RGB曝光、9种RGB增益、4种深度采集模式和5种光照水平，生成了包含101.9k RGB图像和10k深度图像的丰富数据，为每个物体姿态提供了1,380种独特的传感器-光照组合。其创新性在于突破了传统数据集在固定光照和相机设置下的局限，首次实现了对真实世界环境动态变化的系统性建模，为自适应感知系统的开发奠定了重要基础。

当前挑战

SenseShift6D针对的核心领域挑战是：在动态环境变化（如光照波动、传感器参数调整）下保持6D姿态估计的鲁棒性。构建过程中面临三大技术挑战：1) 多模态传感器参数正交组合带来的数据采集复杂度，需协调RGB曝光/增益与深度模式的物理联动；2) 真实传感器噪声（如非线性色偏、光子散粒噪声）的精确保留，避免数字模拟的失真；3) 毫米级精度的6D姿态标注验证，需结合ArUco标定与人工细化确保＜3mm误差。这些挑战使该数据集成为评估传感器自适应算法的黄金标准。

常用场景

经典使用场景

SenseShift6D数据集在计算机视觉领域主要用于评估6D物体姿态估计算法在多变环境下的鲁棒性。其经典使用场景包括在混合现实头戴设备、自主车辆操作和具身AI代理等应用中，通过系统性地模拟真实世界中的光照、曝光、增益和深度传感器模式变化，为算法提供全面的测试环境。

实际应用

在实际应用中，SenseShift6D为开发自适应感知系统提供了关键测试平台。其支持测试时传感器控制策略的评估，例如在仓库物流机器人中动态调整相机参数以适应昼夜光照变化，或在手术导航系统中优化深度传感器模式以应对器械反光。实验表明，联合优化RGB-D传感器配置可使姿态估计精度平均提升11.4%，显著优于传统数字增强方法。

衍生相关工作

该数据集催生了多模态传感器控制的新研究方向，衍生出如HiPose等结合ConvNeXt与RandLA-Net的RGB-D融合架构。其构建方法论影响了后续基准如ImageNet-ES-Diverse的扩展设计，同时促进了测试时自适应传感器控制策略的理论研究，证明传感器级调优可作为数据高效提升鲁棒性的替代方案。