OpenRoboCare

OpenRoboCare是由多所顶尖学术机构联合构建的首个多模态机器人照护专家示范数据集。该数据集包含21位职业治疗师演示的15项日常活动任务，涵盖19.8小时315个会话的31,185条多模态记录，数据来源包括RGB-D视频、触觉传感、姿态追踪、眼动追踪和动作标注五类感知模态。数据集通过标准化临床协议采集，采用定制化压阻式触觉皮肤和运动捕捉系统，精确记录专家照护过程中的力学交互与行为策略。本数据集致力于解决复杂人机物理交互中的感知遮挡、安全接触和长程规划等核心挑战，为开发适应性辅助机器人提供关键训练资源。

OpenRoboCare is the first multimodal robotic care expert demonstration dataset jointly constructed by several top academic institutions. This dataset includes 15 daily activity tasks demonstrated by 21 occupational therapists, encompassing 31,185 multimodal records from 315 sessions with a total duration of 19.8 hours. The data originates from five perceptual modalities: RGB-D video, tactile sensing, pose tracking, eye tracking, and action annotation. Collected via standardized clinical protocols, the dataset utilizes customized piezoresistive tactile skins and motion capture systems to accurately record mechanical interactions and behavioral strategies during expert care procedures. This dataset aims to address core challenges in complex human-robot physical interactions, such as perceptual occlusion, safe contact, and long-range planning, and provides critical training resources for the development of adaptive assistive robots.

原始信息汇总

OpenRoboCare 数据集概述

数据集简介

OpenRoboCare 是一个多任务、多模态的真实世界护理日常数据集，包含21名职业治疗师使用两种医院人体模型执行15项日常护理任务的演示记录。每个演示通过五种同步传感模态记录，捕捉运动、接触和视觉注意力，为学习安全、自适应的机器人护理提供全面基础。

关键统计

• 21名职业治疗师
• 15项护理任务
• 2种人体模型类型
• 315个总会话
• 19.8小时数据量
• 31,185个总样本

数据模态

RGB-D摄像头

• 三个Intel RealSense D435i RGB-D摄像头
• 捕捉护理人员运动、与人体模型互动和辅助设备的视觉和几何信息
• 两个摄像头从不同角度面向病床，一个摄像头从床后面向轮椅
• 所有流以15 Hz频率时间对齐

触觉皮肤

• 定制压阻式触觉皮肤，每个模型44个压力传感器（共88个）
• 以60 Hz频率测量手臂、腿部、躯干和背部的物理接触力
• 传感器使用Velostat和铜织物层设计，电压分压电路由Arduino Uno处理
• 提供0.05–3 N/cm²范围内的稳定响应
• 每个传感器使用ATI力/扭矩传感器校准，每个任务前进行调零

姿态追踪

• 12摄像头OptiTrack PrimeX 13系统追踪护理人员和人体模型运动
• 护理人员佩戴标记手套和帽子追踪头部和手部运动
• 刚性身体标记捕捉人体模型分段运动
• 提供3D姿态和2D关键点标注

眼动追踪

• Pupil Labs眼动追踪眼镜以120 Hz频率记录第一人称视频和注视数据
• 注视点（2D和3D向量）与RGB-D流和运动数据通过时间戳对齐同步

任务与动作标注

• 任务级和动作标注由训练有素的专家使用视频回放手动标注
• 每个条目包括任务名称、开始/结束时间戳和动作描述
• 形成用于时间分割和分析的分层结构

护理任务

数据集包含以下15项任务（按论文和网站规范顺序）：

编号	任务名称
1	Bath
2	Toilet
3	Dress T-shirt (Bed)
4	Undress T-shirt (Bed)
5	Dress Vest (Bed)
6	Undress Vest (Bed)
7	Dress Shorts (Bed)
8	Undress Shorts (Bed)
9	Transfer (Bed→Wheelchair)
10	Groom
11	Dress T-shirt (Wheelchair)
12	Undress T-shirt (Wheelchair)
13	Dress Vest (Wheelchair)
14	Undress Vest (Wheelchair)
15	Transfer (Wheelchair→Bed)

人体模型类型

Type 0 模型 (Simple Susie)

• 女性人体模型，37.26磅，5英尺5英寸
• 代表需要全面协助的较轻患者

Type 1 模型 (Rescue Randy)

• 男性人体模型，150磅，6英尺1英寸
• 代表需要全面协助的标准成人患者

潜在应用场景

机器人应用

• 从人类演示中学习
• 接触感知运动规划
• 原始技能学习
• 注意力建模
• 物理人机交互安全
• 护理技术分析
• 个性化与适应

计算机视觉应用

• 抗遮挡姿态估计
• 视频理解与标注
• 多模态融合

引用信息

bibtex @inproceedings{Liang2025OpenRoboCare, title={{OpenRoboCare: A Multimodal Multi-Task Expert Demonstration Dataset for Robot Caregiving}}, author={Xiaoyu Liang and Ziang Liu and Kelvin Lin and Edward Gu and Ruolin Ye and Tam Nguyen and Cynthia Hsu and Zhanxin Wu and Xiaoman Yang and Christy Sum Yu Cheung and Harold Soh and Katherine Dimitropoulou and Tapomayukh Bhattacharjee}, booktitle={IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)}, year={2025}, url={https://emprise.cs.cornell.edu/robo-care/} }

搜集汇总

数据集介绍

构建方式

在机器人照护领域，构建高质量数据集需精准模拟真实场景并整合多模态数据。OpenRoboCare通过21位职业治疗师对两种人体模型执行15项日常生活活动任务，系统采集五类模态数据：RGB-D视频记录三维视觉信息，定制压阻式触觉皮肤量化接触力分布，运动捕捉系统追踪人体姿态，眼动仪捕捉注意力焦点，同时结合任务执行时的语音注释实现动作层级标注。所有传感器通过网络时间协议实现跨设备同步，以RGB-D视频流为基准将异构数据统一至15Hz采样频率，形成包含315个会话、19.8小时时长的多模态专家示范数据集。

特点

该数据集的核心价值体现在其专业性与多维性。作为首个由职业治疗师示范的多任务照护数据集，其覆盖沐浴、如厕、穿衣等5类基础生活活动，包含31,185个数据样本。多模态耦合机制特别突出：触觉传感揭示0.1-30N动态力域，眼动数据标注2.02秒预见性注视延迟，姿态数据包含遮挡场景下的三维关键点标注。数据分布呈现真实照护场景的复杂性，如转移任务耗时最长达9分钟，穿衣任务中90%专家采用袖优先策略，这些特性为机器人模仿人类照护策略提供了量化依据。

使用方法

该数据集支持多层次机器人技术研发。在感知层面，可基于多模态标注数据训练人体姿态估计模型，通过迁移学习提升遮挡场景下的识别鲁棒性；在规划层面，利用任务分解注释构建层次化行为模型，结合眼动时序数据推导任务预见机制。研究者可提取触力分布规律建立安全交互阈值，参照专家示范轨迹优化动作序列。数据集已公开提供精细标注与预训练模型，支持端到端的照护机器人算法验证与跨任务泛化研究。

背景与挑战

背景概述

随着全球人口老龄化趋势加剧，约13亿人口面临显著身体功能障碍，对专业护理人员的需求与供给之间存在巨大缺口。在此背景下，康奈尔大学联合哥伦比亚大学、新加坡国立大学等机构于2025年正式发布OpenRoboCare数据集，这是首个面向机器人护理领域的多模态专家示范数据集。该数据集聚焦日常生活活动辅助任务，通过21位职业治疗师对两种人体模型进行15项护理任务演示，涵盖RGB-D视频、触觉感知、姿态追踪、眼动追踪和动作标注五类模态数据，总计采集19.8小时315个会话的专家示范数据。该数据集填补了护理机器人领域缺乏大规模专家示范数据的空白，为开发安全自适应的辅助机器人提供了关键支撑。

当前挑战

在技术层面，机器人护理需应对多重挑战：感知系统需在遮挡环境下精确识别人体状态，如穿衣任务中衣物造成的视觉遮挡；物理交互需满足安全接触约束，触觉数据显示不同任务力控范围从0.1N至30N；长时程规划需处理多步骤任务分解，如霍耶升降机转移任务耗时长达9分钟。数据构建过程中，多模态同步面临硬件采样率差异（触觉60Hz/运动捕捉150Hz），姿态追踪需克服护理场景特有的密集遮挡问题，通过融合运动捕捉与基于YOLOv11的视觉姿态估计实现互补。现有感知方法在护理领域存在显著领域偏移，预训练模型在遮挡密集任务中mAP仅0.02，经数据集微调后提升至0.82，凸显领域适应性挑战。

常用场景

经典使用场景

在辅助机器人技术领域，OpenRoboCare数据集为学习专家护理策略提供了关键支持。该数据集通过记录21位职业治疗师执行15项日常生活活动的多模态演示，成为训练机器人模仿人类护理动作的基准资源。其经典应用场景包括开发基于示范学习的机器人控制系统，使机器人在复杂护理任务中能够准确感知人体姿态、规划长时程动作序列，并实现安全物理交互。

衍生相关工作

该数据集已催生多个机器人学习领域的创新研究，包括基于专家示范的层级强化学习框架、多模态融合的仿人操作策略生成、以及长时程任务的动作语义解析方法。相关经典工作如基于触觉力控的柔性物体操纵系统、抗遮挡的多人体姿态估计算法，均通过该数据集的基准测试验证了性能提升。这些衍生研究正推动构建新一代具备临床知识迁移能力的智能护理机器人体系。

数据集最近研究

最新研究方向

在辅助机器人照护领域，OpenRoboCare数据集正推动多模态感知与长时程任务规划的前沿研究。该数据集通过融合RGB-D视觉、触觉皮肤、三维姿态追踪、眼动轨迹及任务标注五类模态，首次系统化记录了职业治疗师执行15项日常活动的专家示范。当前研究聚焦于解决物理交互中的动态遮挡问题，利用触觉传感数据优化力控策略，并基于眼动分析构建任务预见性模型。这些探索为开发具备情境感知与自适应能力的照护机器人提供了关键理论基础，同时通过跨模态对齐技术显著提升了在复杂场景下的人体姿态估计与活动识别精度。

相关研究论文

• 通过

  康奈尔大学、哥伦比亚大学、新加坡国立大学、马萨诸塞大学洛厄尔分校 · 2025年