Lo6yu/egocentric_dataset

该数据集是一个多模态的日常家庭活动数据集，主要用于具身AI和机器人研究。数据集包含同步的RGB-D视频、手腕EMG、手腕IMU、手-物体交互注释、接触导向的事件候选以及清理后的对齐元数据。数据集按任务级别的包组织，每个包都设计用于下游后处理、模型训练和质量检查流程。数据集包含多种家庭活动场景，如洗衣、整理卧室、打扫地板等。

This dataset contains first-person household activity packages for embodied AI and robotics research. Each package combines synchronized RGB-D video, wrist EMG, wrist IMU, hand-object interaction annotations, contact-oriented event candidates, and cleaned alignment metadata. The current release is organized as task-level packages. Each package is intended to be directly usable by downstream post-processing, model training, and quality inspection pipelines. The dataset includes various household activity scenarios such as laundry, tidying bedrooms, and sweeping floors.

搜集汇总

数据集介绍

构建方式

该数据集以任务级包（task-level packages）的形式组织，每个包均围绕一项日常家庭活动构建。数据采集使用Intel RealSense D455设备同步捕获第一人称RGB-D视频，并辅以双侧腕部EMG与IMU信号。所有模态均经过时间轴清洗与对齐，生成校准元数据。此外，数据包内还包含了手-物交互标注、接触事件候选数据以及清洗后的训练层表格，通过标准化的目录结构（如media/、analysis/、gold/等子目录）进行存储，便于下游管道直接使用。

特点

该数据集的显著特点在于其多模态的同步协同性——RGB-D视频、腕部EMG与IMU信号被严格对齐至同一时间轴，而非简单合并为单一视频文件，保留了各模态的独立性与可追溯性。数据集覆盖了洗衣、整理卧室、客厅、餐厅以及清扫地板等五种典型日常活动场景，每个场景均提供详尽的交互标注与对齐报告。其包级README文件详细描述了场景与目录结构，使得研究人员能够快速理解数据组织逻辑并进行针对性分析。

使用方法

该数据集专为具身智能与机器人学习研究设计，适用于日常活动理解、多模态对齐分析、手-物交互建模及数据集构建等任务。使用者可直接下载任务级包，利用analysis/目录下的交互候选与语义子任务数据进行模型训练，或参考gold/中的清洗表格进行监督学习。同时，manifests/目录提供了导出清单与校验和，便于数据溯源与质量检测。建议研究者在工程检查流程中优先使用包级README作为入手指南，以高效定位所需模态与标注信息。

背景与挑战

背景概述

该数据集由研究机构于近期创建，旨在推动具身智能与机器人学领域的发展，专注于第一人称视角下的日常家务活动理解。核心研究者来自多模态感知与机器人交互领域，团队围绕家庭场景中非结构化、多模态数据的采集与对齐问题展开工作。数据集提供了包括RGB-D视频、腕部肌电信号、惯性测量单元数据及手-物交互标注在内的丰富模态，覆盖洗衣、整理卧室、清扫地板等典型家务任务。其公开为具身AI系统的环境感知、动作识别与技能学习提供了高保真、对齐精良的标准数据源，对提升机器人在真实家庭环境中的自主操作能力具有重要学术与应用价值。

当前挑战

该数据集所解决的领域核心挑战在于如何使机器人或智能体在高度动态、非结构化的家庭环境中，实现鲁棒的物体操作与任务执行。传统数据集多关注静态物体识别或第三视角动作分类，缺乏第一视角下多模态传感器（视觉、触觉、肌电、惯性）的同步采集与精细交互标注，难以支撑具身智能研究中关于手部姿态估计、接触力预测与任务阶段性分割等关键问题。在构建过程中，挑战包括异构传感器（30fps的RGB-D与高采样率EMG/IMU）的精确时间对齐、不同环境光照与遮挡条件下的手物交互标注、以及多任务场景下一致性的数据清洗与元数据管理，确保数据质量能够直接服务于下游模型训练与评估。

常用场景

经典使用场景

该数据集专注于第一人称视角下的日常家庭活动理解，为具身智能与机器人学习研究提供了多模态同步数据包。每个数据包融合了RGB-D视频、腕部肌电信号、腕部惯导测量数据以及手-物体交互标注，可直接用于手部动作识别、物体操作分析、接触事件检测等经典任务。研究者可利用这些高度对齐的模态信息，训练模型理解人类在真实家庭环境中的行为模式，例如洗衣、整理卧室、清扫地板等日常活动，从而为机器人模仿学习提供细粒度的行为示范。

解决学术问题

数据集解决了多模态自我中心感知中模态对齐与细粒度交互标注缺失的核心问题。传统数据集通常仅提供单一视觉模态或粗略动作类别，而该数据通过同步RGB-D、EMG、IMU与手部交互标签，使研究者能够探索视觉-触觉-运动信息的融合机制。它支撑了手-物体接触建模、意图预测、任务分割等学术难题的实证研究，推动了具身智能体在非结构化家庭环境中执行复杂操作任务的算法发展。其公开的校准元数据与清洗流程，为多模态数据标准化提供了可复现的范例。

衍生相关工作

该数据集衍生了多项标志性研究工作，包括基于跨模态对比学习的手部姿态回归框架、结合EMG与视觉线索的接触事件检测网络，以及面向家务任务的人-机器人交互策略迁移模型。后续工作进一步利用其多模态对齐特性，构建了时序动作分割与异常检测的基准任务。数据集中清洗后的黄金标签与交互候选集合，被广泛用作半监督学习与数据增强技术的验证平台，催生了诸如动态力场回归器与自监督骨骼点生成等创新方法。