NVS-HO

NVS-HO是首个专注于手持物体新视角合成的基准数据集，由博洛尼亚大学、塞维利亚大学和Eyecan.ai联合创建。数据集包含67个常见物体的RGB序列，每个物体包含手持序列（HS）和固定板序列（BS），分别用于训练和评估。数据采集使用OAK-D Lite相机，分辨率1080×1920，每个物体约100-200帧，覆盖360°视角。数据集通过ChArUco板标记提供精确的相机姿态，旨在推动基于RGB的手持物体新视角合成研究，应用于机器人、增强现实和3D重建等领域。NVS-HO is the first benchmark dataset dedicated to novel view synthesis of handheld objects, jointly created by the University of Bologna, the University of Seville, and Eyecan.ai. The dataset includes RGB sequences of 67 common everyday objects, where each object has a handheld sequence (HS) and a fixed-board sequence (BS), which are used for training and evaluation respectively. The data was collected using an OAK-D Lite camera with a resolution of 1080×1920. Each object has approximately 100 to 200 frames and covers a 360° field of view. The dataset provides precise camera poses via ChArUco board markers, aiming to advance RGB-based novel view synthesis research for handheld objects, with applications in robotics, augmented reality, 3D reconstruction, and other related fields.

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，手持物体新视角合成任务面临缺乏真实世界基准的挑战。NVS-HO数据集通过精心设计的采集流程构建而成，每个物体均录制两种互补的RGB序列：手持序列（HS）中物体在静态相机前被自由操控，模拟自然的人机交互；板载序列（BS）则将物体固定于ChArUco标定板上，通过标记检测提供精确的相机姿态真值。采集过程使用OAK-D Lite相机在受控光照下进行，确保图像质量一致，并经过校准与去畸变处理。数据后处理整合了前景分割与姿态对齐流程，利用COLMAP与标定板信息建立统一的坐标框架，为评估提供可靠基础。

使用方法

使用该数据集时，研究者首先利用手持序列（HS）的图像训练新视角合成模型，并估计相应的相机姿态。评估阶段则需将板载序列（BS）提供的真实相机姿态，通过提供的姿态对齐脚本转换至模型自身的坐标系中。随后，在转换后的姿态上渲染新视角，并与BS中对应的掩码后真实图像进行比较。评估指标包括PSNR、SSIM与LPIPS，并区分前景与背景区域分别计算：前景评估聚焦于物体重建的准确性，背景评估则用于检测渲染中的伪影。数据集中已包含由Grounded SAM2生成的前景掩码，用户可选择直接使用或自行开发分割方法。该流程确保了评估的公平性与可重复性，助力于推动RGB-only手持物体新视角合成技术的发展。

背景与挑战

背景概述

在计算机视觉领域，手持物体交互研究因其在机器人学、增强现实与虚拟现实、数字内容创作等应用中的关键作用而备受关注。由博洛尼亚大学、塞维利亚大学及Eyecan.ai的研究团队于2026年提出的NVS-HO数据集，是首个专门针对真实环境下仅使用RGB输入的手持物体新视角合成的基准数据集。该数据集旨在解决从手持物体图像中合成高质量新视角的核心研究问题，通过提供包含67个日常物体的双序列采集方案——手持序列用于模型训练，基于标记板的序列提供精确姿态真值用于评估——填补了现有数据集在RGB-only新视角合成评估协议上的空白，为相关领域提供了严谨的量化基准。

当前挑战

NVS-HO数据集所针对的新视角合成任务面临多重挑战。在领域问题层面，手持场景中手部造成的部分遮挡使得完整学习物体外观表征变得困难，同时物体在自由操控下的运动模糊与姿态变化对相机姿态估计的精度提出了极高要求，现有基于NeRF或高斯泼溅的方法在此类无约束条件下性能显著下降。在构建过程中，挑战主要源于如何在不依赖深度传感器、预扫描3D模型或MANO手部模型的前提下，为手持序列提供可用于定量评估的姿态真值。为此，数据集创新性地设计了双序列采集与基于ChArUco标记板的姿态标注流程，并通过复杂的坐标系统一与姿态对齐算法，确保了评估协议的方法无关性与严谨性。

常用场景

经典使用场景

在计算机视觉领域，手持物体的新颖视图合成旨在从有限视角的RGB图像中生成物体任意角度的逼真渲染。NVS-HO数据集通过提供手持序列和带有精确姿态标注的板载序列，为这一任务设立了首个真实世界基准。其经典使用场景在于训练和评估基于神经辐射场或高斯溅射等先进技术的视图合成模型，特别是在物体被人手部分遮挡的动态交互环境下，挑战模型对物体完整外观的捕捉能力。

解决学术问题

NVS-HO数据集主要解决了手持物体在仅使用RGB输入条件下进行新颖视图合成时缺乏可靠基准的问题。以往研究多依赖深度传感器、预扫描三维模型或合成数据，难以在真实无约束环境中评估方法的鲁棒性。该数据集通过提供精确的地面真实相机姿态和自然交互序列，使研究者能够系统评估姿态估计与视图合成方法的联合性能，揭示了现有技术在动态手持场景下的显著性能差距，从而推动了更稳健算法的发展。

实际应用

该数据集的实际应用场景广泛涉及增强现实、虚拟现实、机器人操作及数字内容创作等领域。例如，在AR/VR中，用户可通过简单手持物体并拍摄视频，快速生成物体的三维数字化模型，用于虚拟展示或交互设计。机器人系统则可利用此类技术从视觉输入中理解物体的几何结构，提升抓取与操作的精确性。这些应用均受益于NVS-HO所倡导的仅需RGB相机的便捷采集设置，降低了硬件门槛并增强了实用性。

数据集最近研究

最新研究方向

在手持物体新视角合成领域，NVS-HO数据集的推出标志着研究重心正从依赖深度传感器或预扫描3D模型的传统范式，转向纯RGB输入的、更具现实挑战性的无约束手持场景。该数据集通过精心设计的双序列采集方案——手持序列模拟自然交互，标定板序列提供精确姿态真值——为评估神经辐射场与高斯溅射等前沿方法建立了严谨基准。当前研究揭示，即使在经典SfM与视觉Transformer姿态估计框架下，现有方法在手持条件下仍存在显著的性能鸿沟，这凸显了发展对部分遮挡、运动模糊更具鲁棒性的新视角合成技术的迫切性。这一进展不仅推动了机器人抓取、增强现实等应用场景的算法革新，也为探索姿态估计与神经渲染的协同优化开辟了关键路径。

相关研究论文

• NVS-HO: A Benchmark for Novel View Synthesis of Handheld Objects

  博洛尼亚大学; 塞维利亚大学; Eyecan.ai · 2026年