saivishwak/xlerobot-vr-teleop-medicine-bowl

该数据集是使用LeRobot创建的机器人操作数据集，专门用于“拾取药品并放入碗中”的任务。数据集包含100个完整的情节（episodes），总计73,491帧数据，帧率为30fps。数据特征包括：12维的机器人动作（action）和状态（observation.state），分别对应左右机械臂的肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹持器控制；以及来自头部（head）、左腕（left_wrist）和右腕（right_wrist）摄像头的视频观测，每个视频分辨率为480x640，3通道彩色。数据集还包含时间戳、帧索引、情节索引等元数据。机器人类型为xlerobot-bimanual-so101（双手机器人）。数据集以Parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB。This dataset is a robotics manipulation dataset created using LeRobot, specifically for the task of Pick up the medicine and place it in the bowl. It contains 100 total episodes with 73,491 total frames at 30 fps. Features include: 12-dimensional robot actions and states corresponding to left and right arm shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper control; video observations from head, left wrist, and right wrist cameras, each with 480x640 resolution and 3 color channels. The dataset also includes metadata such as timestamp, frame index, episode index, etc. The robot type is xlerobot-bimanual-so101 (bimanual robot). Data is stored in Parquet format, with total data file size of 100MB and video file size of 200MB.

搜集汇总

数据集介绍

构建方式

在机器人操作领域，模仿学习依赖于高质量、多模态的示范数据集。该数据集采用LeRobot框架，通过虚拟现实远程操作（VR Teleop）的方式，在xlerobot-bimanual-so101双臂机器人平台进行采集。整个数据集专注于“拾取药品并放入碗中”这一精细操作任务，共包含100个完整演示片段，总计73491帧图像与运动数据，所有数据均以30帧每秒的固定频率记录。

使用方法

该数据集的使用与HuggingFace LeRobot生态无缝集成。用户可通过可视化界面直接浏览数据，并利用LeRobot提供的API进行加载与预处理。数据以Parquet格式存储结构化数据，视频则单独以MP4格式存放，通过索引文件进行对应。数据集预设了完整的训练/验证划分，便于直接用于机器人模仿学习算法的训练与评估，支持从原始感官输入到动作输出的端到端策略学习。

背景与挑战

背景概述

在机器人学习领域，通过遥操作收集专家演示数据以训练模仿学习策略已成为提升机器人操作能力的关键范式。xlerobot-vr-teleop-medicine-bowl数据集由研究团队基于LeRobot框架创建，旨在解决精细操作任务中的模仿学习需求。该数据集聚焦于“拾取药品并放入碗中”这一典型家居护理场景，利用双臂机器人xlerobot-bimanual-so101采集了100个演示轨迹，总计超过73000帧的高频状态与多视角图像数据。数据集贡献在于提供了结构化的双臂协同操作基准，其每帧包含12维关节动作与状态信息以及头部、左右腕部的三路视频流，为研究复杂环境下的物体抓取与精确放置任务提供了标准化评估平台，推动了机器人从示教中学习精细操作能力的发展。

当前挑战

该数据集所解决的领域核心挑战在于实现双臂机器人在非结构化环境中对物体的可靠抓取与精准放置。具体而言，任务要求机器人同时协调左右臂的12个自由度，从杂乱背景下识别并抓取药瓶，再以毫米级精度将其放入指定容器，这一过程涉及动态避障、力控调节与视觉伺服的多模态融合难题。构建过程中的挑战同样显著：使用VR遥操作设备采集高质量演示数据时，操作员的生理震颤与延迟可能引入噪声；同时需要确保100个演示轨迹在动作多样性、场景光照变化及药品摆放位置上的充分覆盖，以支持算法泛化；此外，海量视频数据的高效编码与存储（采用AV1压缩）在保证视觉保真度与降低存储开销之间需精密平衡。

常用场景

经典使用场景

在机器人学习与操控领域，xlerobot-vr-teleop-medicine-bowl数据集为模仿学习与行为克隆算法提供了宝贵的训练资源。该数据集专注于“拾取药片并放入碗中”这一精细操作任务，完整记录了双臂机器人执行该动作的关节姿态、夹爪状态及多视角视觉观测。研究者可以借助这些高质量的示教数据，训练机器人从感知到动作的端到端映射模型，使其学会在复杂环境下完成类似的物体拾取与放置操作。该数据集特别适合用于验证基于视觉的策略网络，如扩散策略或变换器架构在机器人操控任务中的有效性。

解决学术问题

该数据集解决了机器人领域一个关键学术难题：如何让机器人通过有限的示教数据泛化学习精细的双手协调操作。传统方法依赖大量手工编程或精确的物理模型，难以应对物体尺寸、位置和光照的变化。xlerobot-vr-teleop-medicine-bowl提供了包含100个演示片段、超过7万帧标准化数据，涵盖双臂关节空间与视觉信息，使得研究人员能够探索数据驱动的通用操控策略。其意义在于推动机器人从特定任务执行迈向环境自适应学习，为构建可迁移的机器人技能库奠定了基石。

实际应用

在实际应用层面，该数据集支撑的机器人技能可直接服务于医疗辅助与家庭服务场景。例如，机器人可以通过学习该数据集中的技能，帮助行动不便的患者自主取药并放入药碗中，减少对护理人员的人工依赖。在制药或实验室环境中，类似操作可被迁移至物品分拣、标本整理等流程，提升工作效率与精确度。此外，该数据集的远程操作采集方式为工业中的危险环境作业提供了范例，允许人类通过VR设备远程示教，使机器人在辐射或污染区域替代人力完成精密操作。

数据集最近研究

最新研究方向

该数据集聚焦于机器人精细操作领域的灵巧抓取与放置任务，具体针对“取药入碗”这一仿生动作链的模仿学习研究。前沿方向集中于利用虚拟现实遥操作技术获取高质量演示数据，以训练双臂机器人协同完成具有医疗场景特色的操作。当前研究热点在于借助LeRobot框架整合多视角视觉信息与关节动作序列，推动机器人从感知到执行的端到端学习范式。该数据集通过100个演示回合与73,491帧的高频采样，为机器人掌握了解决定药物这类易碎物品的柔顺控制提供了宝贵资源，其意义在于加速医疗辅助机器人从实验室走向真实应用，为老年护理与药房自动化等热点社会需求提供数据基石。