AGDDO15

AGDDO15数据集包含了15种常见的可变形物体及其相关的组织动作，用于验证One-Shot Affordance Grounding of Deformable Objects (OS-AGDO)方法。

The AGDDO15 Dataset includes 15 common deformable objects and their associated articulated manipulation actions, which is designed to validate the One-Shot Affordance Grounding of Deformable Objects (OS-AGDO) method.

原始信息汇总

一、数据集概述

数据集名称

One-Shot Affordance Grounding of Deformable Objects in Egocentric Organizing Scenes (OS-AGDO)

数据集简介

OS-AGDO是一个用于机器人识别变形物体的数据集，专注于第一人称组织场景中的变形物体的一键 affordance 地面。该数据集支持机器人使用最小样本识别先前未见过的、具有不同颜色和形状的变形物体。

数据集构成

• 包含15种常见类型的变形物体及其相关的组织动作。
• 构建了AGDDO15数据集以验证所提出的方法。

数据集特点

• 引入Deformable Object Semantic Enhancement Module (DefoSEM)以增强对内部结构层次的理解。
• 提出ORB-Enhanced Keypoint Fusion Module (OEKFM)优化关键组件特征提取。
• 采用实例条件提示减轻由提示词引起的区域模糊问题。

数据集性能

• 在KLD、SIM和NSS指标上分别提高了6.2%、3.2%和2.9%。

二、使用说明

环境要求

• Pytorch 1.12.1
• Python 3.7
• CUDA 11.3

数据集下载

• 从Baidu Pan下载AGDDO15数据集。

• 数据集结构：

  dataset ├── one-shot-seen └── Seen

训练与测试

• 训练：python train.py
• 测试：python test.py --model_file <PATH_TO_MODEL>

三、引用信息

@article{jia2025one, title={One-Shot Affordance Grounding of Deformable Objects in Egocentric Organizing Scenes}, author={Jia, Wanjun and Yang, Fan and Duan, Mengfei and Chen, Xianchi and Wang, Yinxi and Jiang, Yiming and Chen, Wenrui and Yang, Kailun and Li, Zhiyong}, journal={arXiv preprint arXiv:2503.01092}, year={2025} }

搜集汇总

数据集介绍

构建方式

AGDDO15数据集的构建旨在应对机器人操作中可变形物体带来的挑战。该数据集通过精心设计，包含15种常见的可变形物体及其相关的组织动作，涵盖了各种颜色和形状的变化。在构建过程中，研究团队引入了Deformable Object Semantic Enhancement Module (DefoSEM)以增强对物体内部结构的层次理解，以及ORB-Enhanced Keypoint Fusion Module (OEKFM)来优化关键组件的特征提取，确保了数据集的多样性和准确性。

特点

AGDDO15数据集的特点在于其创新性地解决了可变形物体在机器人操作中的识别难题。数据集不仅包含了丰富的视觉信息，还结合了文本编码和任务上下文，有效减少了因提示词引起的区域模糊问题。此外，该数据集展示了卓越的泛化性能，实验结果表明在KLD、SIM和NSS指标上均有显著提升，证明了数据集的高质量和高实用性。

使用方法

使用AGDDO15数据集首先需要满足特定的环境要求，包括Pytorch 1.12.1、python 3.7和CUDA 11.3。数据集可通过Baidu Pan下载，并按照指定的目录结构放置。训练和测试过程通过运行train.py和test.py脚本进行，其中test.py需要指定模型文件路径。此过程确保了数据集的易用性和便捷性。

背景与挑战

背景概述

AGDDO15数据集是在机器人学领域中对可变形对象操作的研究背景下创建的。该数据集由Jia Wanjun等研究人员于2025年提出，旨在通过一种名为OS-AGDO的方法，解决机器人操作中由于组件属性不确定性、多样化配置、视觉干扰以及模糊提示等因素所带来的挑战。AGDDO15数据集包含了15种常见的可变形对象及其相关的组织动作，这些数据为机器人提供了一种识别未见过的可变形对象的新途径，即便是基于极少的样本也能实现。该数据集的构建，对于提升机器人的感知与控制能力，具有重要的研究价值和实践意义。

当前挑战

AGDDO15数据集在构建和应用过程中面临的主要挑战包括：如何通过有限样本实现可变形对象的一键式操作提示接地；如何增强对可变形对象内部结构的层级理解，以便在组件信息较弱的情况下准确识别局部特征；如何利用几何约束优化关键组件的特征提取，提高对多样性和视觉干扰的适应性；以及如何有效解决由于提示词导致的区域模糊问题。这些挑战不仅关系到数据集的质量，也直接影响到机器人操作可变形对象的能力和智能化水平。

常用场景

经典使用场景

在机器人学中，可变形物体的操作面临诸多挑战，例如部件属性的不确定性、配置多样性、视觉干扰以及模糊的提示。针对这些问题，AGDDO15数据集应运而生，其核心应用场景在于支持机器人通过最少样本识别出未见过的可变形物体，这些物体具有不同的颜色和形状。AGDDO15数据集通过结合视觉和文本编码器、CLS引导的变换解码器等模块，实现了对可变形物体在第一视角组织场景中的单次 affordance 地面定位。

衍生相关工作

AGDDO15数据集的发布促进了相关领域的研究，衍生出了一系列经典工作。这些研究不仅关注于改进可变形物体的单次 affordance 地面定位技术，还扩展到了强化学习、机器人路径规划等多个方向，推动了机器人学在处理复杂环境中的可变形物体方面的技术进步。

数据集最近研究

最新研究方向

在机器人学领域，尤其是关于可变形物体的操作，AGDDO15数据集的构建与运用标志着一项突破性的进展。该数据集通过一种新颖的一键式可变形物体操作适宜性定位方法，即OS-AGDO，为机器人提供了识别先前未见过的、颜色和形状各异的可变形物体的能力，仅需极少的样本。研究团队开发的Deformable Object Semantic Enhancement Module (DefoSEM)和ORB-Enhanced Keypoint Fusion Module (OEKFM)等模块，显著提升了机器人对物体内部结构层次的理解以及对局部特征的准确识别能力。此外，研究还关注了图像数据与任务上下文相结合的实例条件提示，有效减少了由提示词引起的区域模糊问题。AGDDO15数据集的实验结果表明，该方法在KLD、SIM和NSS指标上分别提高了6.2%、3.2%和2.9%，展现了卓越的泛化性能，为机器人操作可变形物体领域带来了新的研究方向和启示。