NEO-Dataset

NEO-Dataset是由波兹南理工大学与澳大利亚联邦科学与工业研究组织联合创建的首个专为机器人操作场景设计的NeRF编辑基准数据集。该数据集包含经过配准的编辑前与编辑后场景数据，旨在支持对神经辐射场编辑方法进行严格、定量的性能评估。其创建过程聚焦于模拟真实的机器人交互环境，通过系统采集多视角图像并标注对象操作前后的空间状态变化。该数据集主要应用于机器人视觉与操作领域，旨在解决现有NeRF编辑方法在几何一致性、持久性编辑和免重新扫描预测方面的评估空白，为推进语言引导的连续物体操控研究提供关键实验基础。NEO-Dataset is the first NeRF editing benchmark dataset specifically designed for robotic manipulation scenarios, jointly created by Poznań University of Technology and the Commonwealth Scientific and Industrial Research Organisation (CSIRO) of Australia. This dataset contains registered pre-editing and post-editing scene data, aiming to support rigorous and quantitative performance evaluation of NeRF editing methods. Its creation focuses on simulating realistic robotic interaction environments, by systematically collecting multi-view images and annotating the spatial state changes of objects before and after manipulation. This dataset is primarily applied in the fields of robotic vision and manipulation, aiming to fill the evaluation gap of existing NeRF editing methods in terms of geometric consistency, persistent editing, and re-scan-free prediction, providing a critical experimental foundation for advancing research on language-guided continuous object manipulation.

原始信息汇总

数据集名称

NEO-Dataset

数据集简介

NEO-Dataset 是一个用于定量评估 NeRF 场景编辑方法的基准数据集，包含物体操作前后配准的桌面场景。

数据集内容

• 场景数量：12 个配准的桌面场景。
• 场景类型：物体移除或操作前后的桌面场景。
• 采集设备：使用两种不同的机械臂（Franka Emika Panda 和 UR5）及其固定的相机轨迹进行自动扫描。
• 数据对齐：利用 ArUco 标记对齐场景，以便将渲染的编辑视图与真实操作后图像进行比较。

数据集特点

• 场景背景和内容均存在多样性。
• 相机运动沿固定轨迹自动控制，确保场景覆盖范围的一致性。
• 采集的相机位姿提供广泛的扫描覆盖范围，用于训练和评估编辑后的场景渲染。

相关论文

• 论文标题：NEO: NeRF It Once, Edit It Many Times for Continuous Object Manipulation
• 发表刊物：IEEE Robotics and Automation Letters (RA-L), 2026
• 作者：Mikołaj Zieliński, David Hall, Dominik Belter, Peyman Moghadam
• 机构：Poznan University of Technology, CSIRO Robotics

BibTeX 引用

@article{zielinski2026neo, author={Zielinski, Mikolaj and Hall, David and Belter, Dominik and Moghadam, Peyman}, journal={IEEE Robotics and Automation Letters}, title={NEO: NeRF It Once, Edit It Many Times for Continuous Object Manipulation}, year={2026}, volume={}, number={}, pages={}, }

搜集汇总

数据集介绍

构建方式

在神经辐射场（NeRF）编辑领域，尤其是面向机器人操作任务时，现有基准的匮乏制约了定量评估的发展。为填补这一空白，NEO-Dataset应运而生。该数据集由12个桌面场景构成，包括11个单物体场景与1个多物体场景，捕获自两种不同的机器人平台（Franka Emika Panda与UR5）以及不同的桌面环境，旨在引入场景多样性。每个场景均在受控光照条件下，通过机器人手臂沿固定轨迹自动拍摄图像序列，分别记录物体操作前后的状态。为确保几何配准，场景内布置了四个ArUco标记，用于计算操作前后点云之间的刚性变换。数据集涵盖物体移除与物体操作两大任务类型，操作物体均选自YCB数据集。

特点

NEO-Dataset的独特之处在于其为NeRF场景编辑提供了真实世界的定量评估基准。所有场景均包含严格配准的操作前后对应数据，支持全图像与掩码区域两种粒度的评估度量，从而独立衡量编辑对未改动区域的影响以及重建被遮挡区域的质量。数据集不仅支持常规的物体移除评估，还涉及物体位姿变化后的区域重建评估，包括原始位置（Out）与新位置（In）两大区域。此外，数据集支持顺序操作实验，中间状态仅由编辑方法生成，具备严格的评估协议，能够同时衡量视觉保真度（PSNR、SSIM）、几何精度（深度RMSE）以及三维一致性（光度重投影误差）。

使用方法

使用NEO-Dataset时，研究者需先利用各场景操作前图像训练初始NeRF模型，再应用待评估的编辑方法对场景进行修改，最后将编辑后的渲染结果与对应场景的操作后真实图像进行定量对比。评估可聚焦于全图或基于物体包围盒生成的两个掩码区域（Out与In），以分别衡量背景重建与物体重新定位的质量。对于顺序操作任务，数据集仅提供初始场景与终点参考运动，中间场景由编辑方法连续生成并用于抓取规划与状态预测，从而验证编辑方法在多步操作中的持久性与一致性。评估时推荐使用PSNR、SSIM、深度RMSE及光度重投影误差等多维度指标。

背景与挑战

背景概述

神经辐射场（NeRF）作为一种强大的隐式神经场景表示方法，近年来在计算机视觉与机器人学领域展现出巨大潜力，尤其在三维重建、导航与抓取等任务中表现卓越。然而，面向机器人操作的NeRF编辑研究仍处于起步阶段。为弥合这一空缺，来自波兹南理工大学与CSIRO机器人的Mikołaj Zieliński等研究团队于2026年联合提出了NEO-Dataset，旨在为语言引导下的NeRF编辑在机器人操作场景中提供首个可量化的评估基准。该数据集包含12个桌面场景，涵盖单物体与多物体情形，并借助两台不同型号的机械臂及ArUco标记实现高精度配准，为衡量物体移除与操控编辑的几何一致性与视觉真实感奠定了坚实基础。

当前挑战

NEO-Dataset所聚焦的核心挑战涵盖了三个层面。在领域问题层面，现有NeRF编辑方法往往难以在机器人操作中实现持久、几何一致的场景更新，例如物体移除后背景区域的欠采样会引发漂浮伪影与空洞，且多视点修复常因独立性导致严重的不一致性。在构建过程中，如何确保编辑后场景的视觉连贯性与未来状态预测能力被重点考量。该数据集还面临如何让编辑在多次操作间保持稳定、如何避免语义与几何的退化，以及如何在无需重新扫描的情况下支持语言引导的连续交互等关键难题，这对后续方法的鲁棒性与实用性提出了极高要求。

常用场景

经典使用场景

NEO-Dataset作为首个面向机器人操作的NeRF场景编辑基准数据集，其经典使用场景聚焦于语言引导的连续物体操控。该数据集提供了12个桌面场景，包含11个单物体与1个多物体场景，通过注册后的前后编辑场景图像，支持对物体移除、拾取放置及多阶段组装任务的定量评估。研究者可基于该基准，利用预定义变换后的真实场景对比，系统性地衡量NeRF编辑方法在视觉保真度、几何一致性及跨视角连贯性上的表现，从而推动可编辑神经辐射场在机器人交互中的可靠应用。

实际应用

NEO-Dataset的实际应用场景紧密围绕机器人自动化生产线中的多步组装与动态环境适应任务。例如，在流水线作业中，机器人需频繁调整工件位置，传统方法需重新扫描场景，耗时且易中断流程。基于该数据集训练的NEO框架，机器人仅需单次初始扫描，即可通过语言指令预测每次操作后的场景状态，实现无需重新扫描的连续物体重配置。这种能力在精密装配、仓库分拣及家庭服务机器人中极具价值，可显著提升任务灵活性与执行效率。

衍生相关工作

NEO-Dataset的发布催生了多项关键衍生工作，推动了可编辑NeRF在机器人领域的深度融合。其核心思想——通过教师-学生知识蒸馏实现场景重配置——启发了Seal-3D等后续方法，后者进一步探索了像素级交互编辑。此外，基于NEO的多阶段组装实验范式，衍生出如SEE-Splat等利用高斯泼溅进行场景编辑的工作，以及通过物理嵌入矫正实现闭环交互的Physically Embodied Gaussian Splatting。这些工作均借鉴了NEO的持续编辑策略与定量评估框架，共同构建了从静态场景重建到动态操作预测的技术演进路径。