BiGym
收藏arXiv2024-07-12 更新2024-07-12 收录
下载链接：
https://chernyadev.github.io/bigym/
下载链接
链接失效反馈官方服务：
资源简介：
BiGym数据集由戴森机器人学习实验室创建，是一个专注于移动双手机器人操作的基准，包含40个从简单到复杂的任务。数据集大小适中，每个任务都配备了人类演示者记录的演示，支持模仿学习和演示驱动的强化学习算法。创建过程中，通过VR设备远程操作收集演示数据，确保了数据的真实性和多模态性。BiGym旨在解决复杂家庭环境中机器人操作的挑战，特别是在长任务周期和稀疏奖励设置下。
The BiGym dataset, created by Dyson Robotics Lab, is a benchmark focused on mobile dual-robot manipulation, encompassing 40 tasks ranging from simple to complex. The dataset is of moderate size and includes demonstrations recorded by human demonstrators for each task, supporting imitation learning and demonstration-driven reinforcement learning algorithms. During the creation process, demonstrations were collected remotely through VR devices, ensuring the authenticity and multimodality of the data. BiGym aims to address the challenges of robot manipulation in complex home environments, particularly under long task cycles and sparse reward settings.
提供机构：
戴森机器人学习实验室
创建时间：
2024-07-11
原始信息汇总
搜集汇总
数据集介绍
构建方式
在机器人学习领域，构建能够反映真实世界复杂性的基准数据集对于推动算法发展至关重要。BiGym数据集的构建基于MuJoCo物理仿真平台，以Unitree H1人形机器人为载体，通过虚拟现实设备进行人类演示采集。该数据集涵盖了40项家庭环境中的移动双手操作任务，从简单的目标触达任务到复杂的洗碗机清理任务，每项任务均配备了50条由人类操作员通过VR远程操控记录的真实演示轨迹。这些演示以500Hz的高频率采集，并支持降采样至20-500Hz，以适应不同算法的需求。数据集采用轻量级存储格式，仅保存控制信号，用户可通过工具库重放以生成包含RGB、深度图像等多模态观测的完整轨迹，从而在保证数据真实性的同时优化存储效率。
特点
BiGym数据集的显著特点在于其高度真实性与多模态复杂性。与以往基于运动规划器生成合成演示的基准不同，BiGym提供的人类演示轨迹天然包含噪声与多模态特性，例如在“多模态目标触达”任务中，机器人可使用左手或右手完成操作，从而形成多样化的轨迹分布。数据集支持两种动作模式：全身模式允许对机器人所有关节进行完整控制，以研究移动与操作的协同；双手模式则将下半身简化为全向浮动基座，专注于上半身双手操作技能的评估。观测空间涵盖头部、左右腕部三个视角的RGB与深度图像，以及机器人的本体感知状态，为算法提供了丰富的感知信息。此外，任务设计注重长时程、稀疏奖励与部分可观测性，模拟了真实家庭场景中机器人需应对的复杂决策挑战。
使用方法
BiGym数据集的使用遵循标准的Gymnasium API接口，便于集成到现有的模仿学习与强化学习框架中。研究人员可通过环境初始化接口选择任务与动作模式，并从远程存储库获取演示数据。数据集提供了演示管理工具，支持演示的下载、验证、重放与频率转换，用户可灵活提取所需观测模态。在训练过程中，算法可同时利用稀疏奖励信号与人类演示轨迹，以解决长时程任务中的探索难题。BiGym还允许用户自定义观测分辨率与动作空间配置，以适应不同网络架构的需求。通过将移动双手操作分解为全身与双手两种模式，该数据集为系统评估算法在移动控制与精细操作两方面的性能提供了结构化基准。
背景与挑战
背景概述
在机器人学习领域，基准测试对于衡量算法进展至关重要。戴森机器人学习实验室于2024年提出了BiGym，一个专注于移动双臂操作的演示驱动基准测试环境。该数据集旨在解决家庭环境中长视野、多模态的机器人操作问题，其核心研究问题在于如何利用人类演示数据来训练机器人完成复杂的移动双臂协同任务。BiGym构建于Unitree H1人形机器人平台之上，提供了40项从简单目标抓取到复杂厨房清洁的多样化任务，并附带了人类通过虚拟现实设备采集的真实演示轨迹。相较于先前依赖运动规划器生成合成演示的基准，BiGym提供的多模态、带噪声的人类演示更贴近真实机器人轨迹的分布，从而能够更准确地评估模仿学习与演示驱动强化学习算法在现实场景中的泛化能力，对推动家庭服务机器人智能化发展具有显著影响力。
当前挑战
BiGym所针对的移动双臂操作领域面临多重挑战。首要挑战源于任务本身的部分可观测性，智能体必须在历史信息有限的条件下，准确估计环境状态的后验分布。其次，移动性与双臂协同引入了极其复杂的任务空间，单一任务常存在多种解决路径，导致策略学习面临严峻的多模态分布建模问题。再者，长任务视野与稀疏奖励机制使得基于奖励函数的传统强化学习方法难以奏效，算法需具备强大的序列规划与信用分配能力。在数据集构建过程中，挑战同样显著：如何高效采集并管理高质量、多模态的人类演示数据是一大难题；为确保演示的真实性与自然度，需设计精密的虚拟现实遥操作采集管道；同时，在仿真环境中精确建模复杂的关节物体交互物理，并设计灵活的动作模式接口以支持不同的研究焦点，也对平台构建提出了极高要求。
常用场景
经典使用场景
在机器人学习领域，BiGym数据集被广泛应用于评估模仿学习和演示驱动的强化学习算法。其经典使用场景集中于家庭环境中的移动双臂操作任务，例如从简单的目标抓取到复杂的洗碗机操作。通过提供人类收集的多模态演示数据，BiGym能够模拟真实世界中的噪声轨迹，为算法在部分可观测、长时程任务中的性能提供基准测试。
解决学术问题
BiGym解决了机器人学习中的多个核心学术问题，包括在部分可观测马尔可夫决策过程中处理噪声和多模态演示的挑战。该数据集通过稀疏奖励和复杂任务空间，推动了算法在移动双臂操作中的鲁棒性研究。其意义在于填补了现有基准在真实演示数据和移动操作任务上的空白，为算法在家庭辅助机器人等实际场景中的应用奠定了理论基础。
衍生相关工作
BiGym衍生了一系列经典研究工作，特别是在模仿学习和强化学习算法的改进方面。例如，基于其提供的多模态演示数据，研究人员开发了更高效的策略表示方法，如扩散策略和动作分块变换器。这些工作进一步推动了移动双臂操作中网络架构设计和信念估计机制的发展，为机器人学习领域的算法创新提供了重要参考。
以上内容由遇见数据集搜集并总结生成
