Camo-Dataset

Camo-Dataset是由南洋理工大学MARS实验室联合新加坡科技研究局开发的真实机器人数据集，基于UR5e机械臂平台构建。该数据集聚焦感知混淆场景下的长时程操作任务，包含空间追踪、序列操作和情景回忆三类任务，通过多视角RGB图像、本体感知状态和任务阶段标记等多模态数据记录交互历史。数据采集过程强调几何锚定的感知编码，保留端到端操作轨迹以支持决策解耦分析，旨在解决机器人操作中因视觉遮挡或状态覆盖导致的非马尔可夫决策问题，为具身智能的仿生记忆架构研究提供基准。Camo-Dataset is a real-world robotic dataset developed by the MARS Lab at Nanyang Technological University (NTU) in collaboration with the Agency for Science, Technology and Research (A*STAR) of Singapore, and constructed based on the UR5e robotic arm platform. This dataset focuses on long-duration manipulation tasks under perceptually ambiguous scenarios, covering three task categories: spatial tracking, sequential manipulation, and episodic recall. It records interaction histories through multimodal data including multi-view RGB images, proprioceptive states, and task stage annotations. The data collection process emphasizes geometrically anchored perceptual encoding, and preserves end-to-end manipulation trajectories to support decoupled analysis of decision-making processes. It aims to solve non-Markov decision-making problems caused by visual occlusion or state coverage in robotic manipulation, and provides a benchmark for research on biomimetic memory architectures for embodied intelligence.

原始信息汇总

数据集概述

数据集名称

Camo-Dataset

数据集简介

Camo-Dataset 是一个真实机器人 UR5e 的数据集，涵盖在感知混淆（perceptual aliasing）情况下的情景记忆召回（episodic recall）、空间跟踪（spatial tracking）和顺序操作（sequential manipulation）。

核心背景

该数据集是论文《Chameleon: Episodic Memory for Long-Horizon Robotic Manipulation》的一部分。研究旨在解决机器人操作中因遮挡和状态变化导致的感知混淆问题，即相同的观察可能源于不同的交互历史，使得在观察层面的动作选择具有非马尔可夫性。

数据集特点

1. 应用场景：专注于长视野机器人操作任务。
2. 核心挑战：针对感知混淆的环境设置。
3. 数据内容：包含支持情景记忆、空间跟踪和顺序操作任务的数据。

关联研究

该数据集用于验证所提出的 Chameleon 方法。该方法受人类情景记忆启发，通过写入几何基础的多模态令牌来保留消除歧义的上下文，并通过可微分记忆栈实现目标导向的回忆。

性能表现

基于该数据集的实验表明，在感知混淆的设置中，Chameleon 方法相较于强基线模型，能持续提升决策的可靠性和长视野控制能力。

相关链接

• 论文地址：https://arxiv.org/pdf/2603.24576
• 代码仓库：https://github.com/gxyes/MARS_Chameleon
• 联系作者：Jianfei Yang ([e-mail])

贡献机构

1. MARS Lab, Nanyang Technological University, Singapore
2. Institute for Infocomm Research, A*STAR, Singapore
3. National University of Singapore

搜集汇总

数据集介绍

构建方式

在机器人操作领域，长期记忆对于解决感知混淆问题至关重要。Camo-Dataset的构建旨在系统评估机器人对历史依赖任务的记忆能力。该数据集在真实的UR5e机器人平台上采集，包含三种精心设计的操作任务：清洁指定盘子、玩壳牌游戏以及添加多种调味料。每种任务均通过人为设计的感知混淆阶段，迫使机器人在视觉观察几乎相同的情况下依赖历史交互信息做出决策。数据采集过程采用人工遥操作方式，确保了120次演示的高质量执行，并在测试阶段进行了36次独立真实机器人试验，以全面验证模型的记忆推理性能。

特点

Camo-Dataset的核心特点在于其针对感知混淆场景的系统性设计。数据集涵盖了事件绑定、空间跟踪和顺序操作三种记忆类别，每类任务均模拟了现实世界中因遮挡或状态变化导致的非马尔可夫决策困境。例如，在壳牌游戏任务中，三个完全相同的杯子在决策时刻呈现视觉上的不可区分性，机器人必须通过记忆交换历史来追踪隐藏物体。这种设计有效隔离了感知变异对决策的干扰，迫使智能体必须依赖显式的记忆检索机制。数据集还提供了多模态观测数据，包括固定前视摄像头和手部摄像头的RGB图像、机器人本体感知状态以及可选的阶段指示信号，为记忆架构的全面评估提供了丰富基础。

使用方法

该数据集主要用于训练和评估具有长期记忆能力的机器人操作模型。研究人员可按照标准流程加载数据集，其中每个任务包含训练演示和独立测试试验。模型训练时需处理多模态输入序列，并学习在感知混淆阶段输出正确的操作轨迹。评估过程采用决策成功率、操作成功率和分类成功率等细粒度指标，以区分记忆检索准确性和物理执行能力。数据集支持与扩散策略、流匹配和ACT等基线方法的对比实验，同时可通过消融研究分析记忆模块中各个组件的贡献。此外，研究人员可利用数据集提供的表征分析工具，如UMAP投影和HoloHead预测展开，深入探究记忆状态在模式分离和模式完成方面的行为特性。

背景与挑战

背景概述

Camo-Dataset由南洋理工大学MARS实验室、新加坡科技研究局信息通信研究院及新加坡国立大学的研究团队于2026年联合创建，旨在应对机器人操作中的感知混淆挑战。该数据集围绕长时程记忆依赖的机器人操作任务设计，核心研究问题聚焦于如何在视觉观测高度相似的非马尔可夫决策场景中，实现基于历史交互的可靠动作选择。其创新之处在于系统性地构建了涵盖事件回忆、空间追踪与顺序操作三大类别的真实机器人任务，为评估生物启发的记忆架构提供了基准，显著推动了具身智能在复杂物理环境中的记忆机制研究。

当前挑战

Camo-Dataset致力于解决机器人操作中因遮挡或状态变化导致的感知混淆问题，其核心挑战在于要求智能体在决策时刻视觉观测高度相似的条件下，依据历史交互做出差异化动作。构建过程中的主要困难体现在任务设计上，需精心构造非马尔可夫决策阶段，确保智能体无法仅凭瞬时感知规避记忆检索，从而真实检验其长时程记忆推理能力。此外，在真实UR5e机器人平台收集数据时，需保证演示质量与任务变体的平衡分布，以准确反映记忆架构在感知混淆环境中的泛化性能与决策鲁棒性。

常用场景

经典使用场景

在机器人长时程操作研究中，Camo-Dataset为评估智能体在感知混淆条件下的记忆能力提供了标准化测试平台。该数据集精心设计了三个核心任务：清洁指定餐盘、操作杯球游戏以及顺序添加调味料，每个任务均强制要求机器人依赖历史交互信息来应对决策时刻的视觉模糊性。这些任务模拟了现实世界中物体被遮挡、状态变化或外观相似等复杂场景，迫使智能体必须通过记忆机制解析相同的观测输入所对应的不同操作历史，从而验证其是否具备真正的非马尔可夫决策能力。

解决学术问题

Camo-Dataset的构建直接针对机器人学中一个长期存在的核心挑战：如何在感知混淆环境下实现可靠的长时程操作。传统方法往往依赖语义压缩的记忆表示，这会导致区分性细节的丢失，使得智能体在视觉相似的场景中无法做出历史依赖的正确决策。该数据集通过引入事件绑定、空间追踪和顺序执行三类记忆任务，系统化地评估了智能体在事件-对象关联、遮挡物体跟踪以及多步骤任务记忆保持等方面的能力。其意义在于首次在真实机器人平台上建立了针对感知混淆条件下记忆机制的量化评估基准，推动了具身智能向更接近人类情景记忆的认知架构发展。

衍生相关工作

Camo-Dataset的发布催生了一系列围绕感知混淆条件下记忆架构的研究工作。基于该数据集评估的Chameleon架构本身已成为该领域的代表性成果，其提出的几何接地多模态令牌写入机制与可微分记忆堆栈设计启发了后续研究。相关工作开始探索将类似的情景记忆机制与视觉-语言-动作模型结合，以增强机器人在开放世界中的零样本泛化能力。同时，该数据集也被用于基准测试更广泛的记忆模型，包括基于Mamba的状态空间模型、记忆银行检索架构以及各种循环神经网络的变体，推动了机器人记忆研究从简单的历史缓冲向结构化、目标导向的回忆机制演进。