HOTS

HOTS是一个持续收集的RGB-D数据集，旨在为机器人相关领域的视觉和3D识别、模拟到真实域适应等提供基准测试。该数据集包含广泛的典型家用物品，标注了多级粒度的类别标签（超类、类别和实例），以及视觉属性标注（颜色、材料等）和场景级别的空间关系对（场景图）。当前版本的数据集仅包含从ASUS Xtion传感器安装在真实机器人设置上捕获的单视图RGB-D数据。HOTS is a continuously collected RGB-D dataset designed to provide benchmarks for vision and 3D recognition in robotics-related fields, as well as for simulation-to-real domain adaptation. The dataset encompasses a wide range of typical household items, annotated with multi-granularity category labels (superclass, class, and instance), along with visual attribute annotations (color, material, etc.) and scene-level spatial relationship pairs (scene graphs). The current version of the dataset includes only single-view RGB-D data captured from an ASUS Xtion sensor mounted on a real robotic setup.

原始信息汇总

数据集概述：HOTS

数据集描述

HOTS（Household Objects in Tabletop Scenarios）是一个旨在收集RGB-D数据集的项目，用于机器人相关领域的视觉和3D识别、模拟到真实域适应等任务的基准测试。该数据集包含多种典型家用对象，并提供了多层次的类别标签（超类别、类别和实例）、视觉属性注释（颜色、材料等）以及场景级别的空间关系对（场景图）。当前版本的数据集仅包含从ASUS Xtion传感器安装在真实机器人设置上捕获的单视图RGB-D数据。

数据集内容

对象实例统计

• 超类别：5个，包括可食用产品(13)、电子产品(5)、水果(6)、厨房用具(11)、文具(11)
• 类别：25个，详细类别及其数量见下表
• 颜色：11种，包括红色(6)、黄色(4)、蓝色(5)、白色(6)、紫色(2)、绿色(4)、黑色(9)、透明(1)、银色(6)、橙色(2)、粉色(1)
• 材料：7种，包括有机(6)、纸(7)、陶瓷(5)、铝(5)、玻璃(1)、金属(8)、塑料(14)

数据结构

• 对象级别：包含对象级别的RGB-D图像，用于对象识别任务，图像根据其边界框注释从原始场景帧中裁剪。
• 场景级别：包含场景级别的RGB-D图像，按标题组织在不同的分割中，根据出现的对象类型（桌子、厨房、办公室、混合）。

注释信息

• 对象检测：包含边界框，用于对象检测任务。
• 语义/实例分割：包含像素级掩码，用于语义和实例分割任务。

数据集使用

对象级别API

python from hots import load_HOTS_objects train_dataset, test_dataset = load_HOTS_objects(transform=False)

场景级别API

python from hots import load_HOTS_scenes train_dataset, test_dataset = load_HOTS_scenes(transform=False)

以上API支持数据加载和预处理，包括将数据张量化和应用torchvision.transforms进行预处理。

搜集汇总

数据集介绍

构建方式

HOTS数据集旨在为机器人相关领域的视觉和3D识别、仿真到现实的领域适应等任务提供基准测试。该数据集通过ASUS Xtion传感器在真实机器人设置上捕获单视角RGB-D数据，涵盖了多种典型家居物品。数据集的构建过程中，每个对象都被标注了多层次的类别标签（超类、类别和实例），以及视觉属性（颜色、材质等）和场景级别的空间关系（场景图）。数据集的当前版本包含46个对象实例，分为5个超类和25个类别。

使用方法

HOTS数据集的使用方法灵活多样。用户可以通过Python API加载数据集，并根据需要选择是否对数据进行预处理。数据集分为对象级别和场景级别两个部分，对象级别数据适用于对象识别任务，场景级别数据则适用于对象检测、语义分割和实例分割任务。用户可以通过加载不同的数据集模块，获取原始图像数据及其对应的标注信息。此外，数据集还支持使用`torchvision.transforms`进行自定义预处理，以满足不同任务的需求。

背景与挑战

背景概述

HOTS数据集是一个专注于机器人相关领域的RGB-D数据集，旨在为视觉和3D识别、仿真到现实的领域适应等任务提供基准测试。该数据集由多个研究机构共同开发，涵盖了广泛的家庭日常物品，并通过多层次粒度进行标注，包括类别标签（超类、类别和实例）、视觉属性（颜色、材质等）以及场景级别的空间关系（场景图）。数据集通过ASUS Xtion传感器从真实机器人设置中捕获单视角RGB-D数据，目前包含46个对象实例，分为5个超类和25个类别。HOTS的创建为机器人视觉研究提供了丰富的多模态数据支持，推动了相关领域的技术进步。

当前挑战

HOTS数据集在解决机器人视觉领域的多模态识别问题时面临诸多挑战。首先，场景中的对象多样性及其复杂的空间关系对模型的泛化能力提出了较高要求。其次，数据集的构建过程中，如何确保标注的一致性和准确性是一个关键问题，尤其是在多层次粒度的标注任务中。此外，从仿真到现实的领域适应任务中，如何有效利用仿真数据提升真实场景中的模型性能，仍是一个未完全解决的难题。最后，数据集的扩展性和多样性仍需进一步提升，以覆盖更多实际应用场景和对象类别。

常用场景

经典使用场景

HOTS数据集在机器人视觉和三维识别领域具有广泛的应用，尤其是在桌面场景中的物体识别和场景理解任务中。该数据集通过提供多层次的物体标注（如超类别、类别和实例）以及视觉属性标注（如颜色、材质等），为研究者提供了一个丰富的实验平台。其经典使用场景包括物体检测、语义分割和实例分割，这些任务在机器人自主操作和家庭服务机器人中尤为重要。

解决学术问题

HOTS数据集解决了机器人视觉领域中的多个关键学术问题，特别是在模拟到现实的领域适应问题上。通过提供真实环境中的RGB-D数据，该数据集帮助研究者克服了传统模拟数据与真实数据之间的差距，提升了模型在真实场景中的泛化能力。此外，其多层次标注和场景图信息为复杂场景理解提供了新的研究视角，推动了视觉感知和机器人操作技术的进步。

实际应用

在实际应用中，HOTS数据集为家庭服务机器人和智能家居系统的开发提供了重要支持。通过利用该数据集中的物体识别和场景理解能力，机器人能够在复杂的家庭环境中进行自主导航和物体操作。例如，机器人可以识别并分类厨房中的餐具、电子产品和食品，从而执行诸如整理桌面、递送物品等任务。这些应用显著提升了机器人在家庭环境中的实用性和智能化水平。

数据集最近研究

最新研究方向

近年来，HOTS数据集在机器人视觉与三维识别领域的研究中展现出显著的前沿性。该数据集通过提供多层次的对象标注（包括超类别、类别和实例）以及视觉属性标注（如颜色、材质等），为机器人领域的视觉任务提供了丰富的实验基础。特别是在模拟到现实的领域适应（sim-to-real domain adaptation）研究中，HOTS数据集因其真实场景下的RGB-D数据采集和详细的场景图标注，成为验证算法鲁棒性和泛化能力的重要工具。此外，随着深度学习在机器人感知任务中的广泛应用，HOTS数据集在目标检测、语义分割和实例分割等任务中的表现也备受关注。其多层次的标注结构为研究者提供了灵活的实验设计空间，推动了机器人视觉系统在复杂家庭环境中的实际应用。