RGB-SegmentEgocentricBodies-Cuttlery

RGB-D Segment Egocentric Bodies Cuttlery数据集是ExtendedRealityLab/RGB-D-SegmentEgocentricBodies的一个子集，其真实标注已被修改为分割4个类别：[0:'人物',1:'盘子',2:'餐具',3:'玻璃杯']。该数据集旨在支持自我中心视觉、XR/VR/AR、人机交互等领域的研究。真实标注为文本格式，符合Yolo架构训练所需的格式。像素级标注将随后提供。该数据集由Nokia ExtendedRealityLab创建，用于自我中心感知和沉浸式远程呈现的研究。

原始信息汇总

RGB-SegmentEgocentricBodies-Cuttlery 数据集概述

数据集基本信息

• 数据集名称：RGB-SegmentEgocentricBodies-Cuttlery
• 创建者：Nokia ExtendedRealityLab
• 许可协议：odc-by
• 语言：英文
• 多语言性：单语言
• 数据规模：1<n<1K
• 标签：egocentric segmentation, extended reality, xr, human-body, mixed-reality, avatar
• 任务类别：image-segmentation
• 任务ID：semantic-segmentation

数据内容与结构

• 特征：
  • image：图像数据
  • label：文本格式的标签数据
• 数据划分：
  • train：644个样本
  • val：100个样本

数据集描述

RGB-SegmentEgocentricBodies-Cuttlery 是 https://huggingface.co/datasets/ExtendedRealityLab/RGB-D-SegmentEgocentricBodies 数据集的一个子集。其真值标注已被修改，用于分割4个类别：0:people, 1:plate, 2:cuttlery, 3:glass。

该数据集旨在支持第一人称视觉、XR/VR/AR 以及人机交互领域的研究。

真值标注为文本格式，遵循训练Yolo架构所需的格式。像素级标注将后续提供。

致谢与引用

该数据集由诺基亚ExtendedRealityLab创建，是在第一人称感知和沉浸式远程呈现研究背景下开发的。如在学术工作中使用此数据集，请引用以下论文：

• Jiménez-Moreno, Amaya 等人. "Evaluation of Segmentation Algorithms for Embodiment Improvement in an XR Application." Proceedings of the 17th International Workshop on IMmersive Mixed and Virtual Environment Systems. 2025.
• Gonzalez Morin, Diego 等人. "Full body video-based self-avatars for mixed reality: from e2e system to user study." Virtual Reality 27.3 (2023): 2129–2147.

搜集汇总

数据集介绍

构建方式

在扩展现实与自我中心视觉的研究领域，RGB-SegmentEgocentricBodies-Cuttlery数据集源自RGB-D Segment Egocentric Bodies数据集的精选子集。其构建过程涉及对原始标注的精细化调整，将语义类别重新划分为四类：人物、餐盘、餐具与玻璃器皿。标注以文本格式呈现，专门适配Yolo架构的训练需求，为像素级分割任务提供了结构化基础，体现了在沉浸式远程呈现研究中数据标注的系统性设计。

特点

该数据集聚焦于自我中心视角下的视觉分割，其核心特点在于针对扩展现实应用中常见的交互场景进行了类别优化。数据集包含训练集与验证集，样本规模适中，涵盖了人物与餐具等日常对象的精细标注。文本格式的标注不仅便于模型训练，也为后续像素级注释的扩展预留了接口，从而支持从物体检测到语义分割的多层次研究需求，为混合现实中的自我化身技术提供了实用的数据资源。

使用方法

在自我中心视觉与混合现实的应用背景下，该数据集主要用于训练和评估分割模型，特别是基于Yolo架构的算法。研究人员可加载图像与对应的文本标注，进行模型训练与验证，以提升扩展现实中自我化身的视觉真实感。使用时应遵循开放数据许可，并在学术工作中引用相关文献，以确保研究可追溯性与数据贡献的认可。

背景与挑战

背景概述

RGB-SegmentEgocentricBodies-Cuttlery数据集由诺基亚扩展现实实验室于2025年创建，旨在推动自我中心视觉与扩展现实领域的研究。该数据集聚焦于沉浸式远程呈现与混合现实应用中的自我化身技术，通过提供像素级语义分割标注，支持对人物、餐具及容器等四类关键对象的精确识别。其核心研究问题在于提升虚拟环境中自我化身的真实感与交互自然性，为人类-计算机交互与增强现实系统的发展提供了重要的数据基础，对相关领域的算法评估与应用创新具有显著影响力。

当前挑战

该数据集致力于解决自我中心视觉中复杂场景下的语义分割挑战，特别是在动态交互环境下对多类物体（如人物、餐具）进行准确分割的难题。构建过程中面临的主要挑战包括：从原始RGB-D数据中提取并转换标注格式以适应Yolo架构的训练需求，确保标注的一致性与精确性；同时，在有限数据规模下（训练集644例，验证集100例）保持类别平衡与场景多样性，以支持模型在扩展现实应用中的泛化能力。

常用场景

经典使用场景

在扩展现实与自我中心视觉领域，RGB-SegmentEgocentricBodies-Cuttlery数据集为语义分割任务提供了关键支持。该数据集专注于从第一人称视角捕捉的场景，包含人物、盘子、餐具和玻璃杯四类对象的精细标注，常用于训练和评估基于Yolo架构的模型，以提升在混合现实环境中对用户周围物体的实时识别与分割能力。

实际应用

在实际应用中，该数据集直接服务于沉浸式远程呈现和混合现实系统。例如，在虚拟现实或增强现实场景中，系统可利用数据集训练的模型实时分割用户手部及周围餐具等物体，从而增强虚拟化身的视觉真实感与交互自然性，提升用户体验，适用于远程协作、虚拟培训等多样化场景。

衍生相关工作

围绕该数据集，已衍生出多项经典研究工作，如《Evaluation of Segmentation Algorithms for Embodiment Improvement in an XR Application》和《Full body video-based self-avatars for mixed reality: from e2e system to user study》。这些研究深入探索了分割算法在扩展现实中的性能优化，以及基于视频的全身虚拟化身系统的构建与评估，推动了自我中心感知技术的持续发展。