SpatialAwareRobotDataset

该数据集名为SpatialAwareRobotDataset，由曼彻斯特都会大学的研究团队创建，包含近1000张机器人获取的室内图像，这些图像被标注了物体的属性、位置和详细的空間关系。数据集的采集使用波士顿动力公司的Spot机器人，并通过定制的标注工具进行标注。该数据集旨在帮助机器人更好地理解现实世界环境中的物体及其空间关系，支持机器人任务规划的研究。This dataset, named SpatialAwareRobotDataset, was created by a research team from Manchester Metropolitan University. It contains nearly 1,000 indoor images captured by robots, which have been annotated with object attributes, positions and detailed spatial relationships. The dataset was collected using Boston Dynamics' Spot robot, and the annotations were conducted via a custom-built annotation tool. This dataset aims to help robots better understand objects and their spatial relationships in real-world indoor environments, supporting research on robotic task planning.

原始信息汇总

SpatialAwareRobotDataset 数据集概述

数据集基本信息

• 数据集名称: SpatialAwareRobotDataset
• 用途: 用于机器人空间关系感知研究
• 相关论文: A Spatial Relationship Aware Dataset for Robotics

数据集内容

• 数据说明: 包含与机器人空间关系感知相关的数据
• 标注工具: 提供团队开发的定制化标注工具（具体说明待补充）

使用说明

• 当前README仅提供基本信息，详细使用说明和标注工具文档将后续补充

搜集汇总

数据集介绍

构建方式

在机器人感知与任务规划领域，空间关系理解是实现智能操作的核心挑战。SpatialAwareRobotDataset通过波士顿动力Spot机器人采集了近千张实验室环境RGB图像，采用定制化标注工具SGDET-Annotate进行多维度标注。该工具支持轴对齐边界框绘制、七类空间谓词（如'on'、'under'）标注以及对象属性标记，最终输出兼容Visual Genome和YOLOv10m格式的标注文件。为确保数据质量，采用九人独立标注-多数表决的质控流程，合并语义相近谓词并剔除低质量样本，形成包含5-10个对象及约10组空间关系的场景图数据。

特点

该数据集创新性地聚焦机器人操作场景中的空间关系建模，其显著特征体现在三方面：场景复杂性方面，刻意设计包含多组外形相似物体（如不同书籍、同款遥控器）的摆放组合，迫使模型学习细微的空间差异；标注维度方面，同步提供物体检测框、材质/颜色属性和量化空间关系，支持端到端场景图生成任务；应用适配性方面，所有图像均从机器人第一视角采集，空间布局符合真实操作场景需求。特别设计的七类基础空间谓词体系，在保持语义明确性的同时覆盖90%的机器人操作指令需求。

使用方法

该数据集主要服务于三类研究任务：场景图生成模型评测方面，研究者可通过标准Recall@K指标对比不同关系预测头（如VCTree、Transformer）在空间关系识别上的性能差异；机器人任务规划增强方面，将预测出的<主体-谓词-客体>三元组输入ChatGPT 4o等大模型，可显著提升指令分解的空间合理性；算法鲁棒性验证方面，数据集特设的相似物体干扰场景能有效检验模型对细微空间差异的敏感度。使用时应搭配提供的YOLOv10m检测基准，并注意七类谓词在测试集的不均衡分布特性。

背景与挑战

背景概述

SpatialAwareRobotDataset是由曼彻斯特城市大学的Peng Wang等研究人员于2025年提出的一个专注于机器人空间关系理解的数据集。该数据集包含近1000张由波士顿动力Spot机器人采集的室内场景图像，每张图像均标注了物体属性、位置及空间关系。该数据集的创建旨在解决机器人任务规划中空间关系理解不足的核心问题，特别是在存在相似或相同物体及复杂空间布局的场景中。通过整合空间关系信息到基础模型（如ChatGPT 4o）中，该数据集显著提升了模型在机器人任务规划中的表现，推动了机器人视觉与空间推理领域的研究进展。

当前挑战

SpatialAwareRobotDataset面临的挑战主要包括两个方面：领域问题的挑战和构建过程的挑战。在领域问题方面，数据集需解决机器人任务规划中空间关系理解的复杂性，尤其是在存在多个相似物体及复杂空间布局的场景中，如何准确识别物体间的空间关系（如“在...之上”、“在...左侧”等）是关键挑战。在构建过程方面，数据集的标注面临空间关系定义的一致性难题，例如“近”这一谓词的模糊性导致标注不一致；此外，数据集中某些空间关系的样本稀少，导致类别不平衡问题，影响了场景图生成模型的训练与评估效果。

常用场景

经典使用场景

在机器人任务规划领域，SpatialAwareRobotDataset通过提供包含复杂空间关系的机器人采集图像，为场景图生成模型的评估和优化提供了重要基准。该数据集特别适用于研究机器人对环境中物体空间关系的理解能力，例如在物体识别基础上判断物体之间的相对位置关系（如‘在上方’、‘在左侧’等），从而支持更精确的任务规划。

实际应用

在实际应用中，SpatialAwareRobotDataset可用于提升机器人在家庭服务、仓储物流等场景中的任务执行能力。例如，机器人可以通过该数据集训练出的模型更准确地识别物体之间的空间关系，从而在执行‘移动书本’或‘整理物品’等任务时避免错误操作。

衍生相关工作

该数据集衍生了多项经典工作，包括将空间关系信息集成到ChatGPT 4o等基础模型中以提升其任务规划能力的研究。此外，基于该数据集的场景图生成模型评估工作也为后续研究提供了重要的性能基准和方法参考。