bedroom-sep6

该数据集是一个基于LeRobot框架的机器人操作数据集，名为“bedroom-sep6”，由naavox提供，采用Apache-2.0许可证。数据集包含93个episode，共60596帧，涵盖3个不同的操作任务。机器人类型为“stringman”。数据以多模态观测为特点：包括四个摄像头视角（gripper_camera、overhead_camera、anchor_camera_0、anchor_camera_1）的视频，每个视频帧率为30fps；以及44维的状态向量（包含速度、位置、旋转、关节角度、传感器读数、目标位置等信息）。动作空间为11维，包括线速度、关节速度和接触向量等。此外，还包含两个锚点摄像头的姿态（anchor_poses，12维）和倾斜角度（anchor_cam_tilt，2维），以及时间戳、帧索引、episode索引等元数据。所有数据被划分为训练集（episode索引0-92）。适用于机器人模仿学习、技能获取、多视角视觉运动策略训练等研究场景。

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的多模态数据集是训练具身智能体的基础。bedroom-sep6数据集依托LeRobot框架构建，以名为stringman的机器人平台在卧室场景中执行三类任务，通过遥操作或预设程序生成93段轨迹，累计60596帧，采样频率为30Hz。数据采集过程中，机器人本体状态、动作指令以及来自夹爪、顶视和两个锚点相机的视频流被同步记录，并保存为Parquet文件与AV1编码视频，最终按LeRobot v3.0规范整理为可复现的数据结构。

特点

该数据集在特征维度上体现了丰富的感知与交互信息。动作空间包含11维向量，涵盖末端速度、腕部与手指速度、接触向量及回合终止信号；状态空间则扩展至44维，融合了机器人运动学、抓取器位姿、激光测距、手指压力以及多个环境参照物的方位与距离。视觉模态由四路视频构成，分别提供夹爪特写、俯视全局和两个锚点视角，并附带锚点位姿与相机倾斜角，为研究多视角空间感知与精细操作提供了细粒度数据支持。

使用方法

研究人员可借助HuggingFace平台直接加载bedroom-sep6，利用LeRobot库解析meta/info.json中的元数据，按需读取data目录下的Parquet文件获取低维状态与动作序列，并通过videos目录中的MP4文件同步提取视觉观测。数据集内置可视化工具链接，便于快速预览轨迹与视频对齐效果。典型的应用场景包括模仿学习、多模态表征学习以及基于视觉的机器人控制策略训练，使用者亦可依据train划分进行模型验证与基准测试。

背景与挑战

背景概述

在具身智能与机器人学习迅猛发展的背景下，高质量、多模态的机器人操作数据集成为推动算法进步的关键基础设施。bedroom-sep6数据集由LeRobot框架构建，于2024年发布，包含93个回合、60596帧，以30fps记录了在卧室环境中执行多种任务的操作数据。该数据集融合了动作、状态、多视角视觉以及锚点位姿等多源信息，机器人类型为stringman，任务涵盖3类不同目标，旨在为视觉-语言-动作模型、模仿学习及强化学习提供贴近真实家居场景的训练资源。其多相机配置与丰富的状态变量为研究复杂环境下的感知与决策提供了重要基准，对家庭服务机器人领域具有潜在的推动作用。

当前挑战

bedroom-sep6所应对的领域问题在于复杂家居环境中的多任务机器人操作，其核心挑战包括：高维连续动作空间与多模态观测的精确对齐、不同任务间视觉与动力学分布的显著差异、以及有限回合数下策略泛化能力的保持。构建过程中亦面临多重困难：多相机同步采集与时间戳对齐需保证毫秒级精度，长时程回合中传感器漂移与接触力噪声的抑制，以及视频编码与状态数据存储的兼容性优化。此外，93个回合覆盖3类任务，样本量与任务多样性的平衡对模型鲁棒性构成考验，如何从有限演示中提取可迁移技能仍是亟待解决的难题。

常用场景

经典使用场景

在机器人学习与具身智能研究领域，bedroom-sep6数据集凭借其多模态感知与高频控制信号，构成了训练复杂室内操作策略的经典平台。该数据集涵盖93个回合、逾六万帧的交互轨迹，包含夹爪相机、俯视相机及双锚点相机共四路视觉流，并同步采集44维本体状态与11维动作向量，使研究者得以在统一框架下探索视觉-运动映射、接触力估计与长程任务规划。其经典使用场景聚焦于模仿学习与离线强化学习，尤以基于LeRobot代码库的行为克隆实验为典型，通过多视角视觉输入驱动机械臂完成抓取、悬挂及空间导航等复合技能。

衍生相关工作

依托该数据集，研究者已衍生出多项经典工作，涵盖多视角Transformer策略网络、基于扩散模型的轨迹生成以及接触感知的强化学习算法。其与LeRobot生态的深度集成，催生了可视化工具、数据加载器标准化及跨数据集预训练范式。部分工作利用其张力与压力信号开展触觉反馈下的精细操作研究，另有学者将其作为基准，评估视觉-语言-动作模型在室内长程任务中的泛化能力。这些衍生研究持续拓展着具身智能在感知、决策与控制层面的边界。

数据集最近研究

最新研究方向

在具身智能与机器人操作学习领域，卧室场景下的长时程灵巧操作正成为前沿探索的焦点。bedroom-sep6数据集凭借其多视角视觉观测、44维本体状态与11维动作空间的精细耦合，为视觉-语言-动作模型在家庭环境中的泛化性研究提供了关键支撑。当前研究趋势聚焦于利用该数据集探索基于锚点相机的空间感知与接触力反馈的联合建模，以提升机器人在杂乱卧室中执行抓取、悬挂和避障等任务的鲁棒性。与此同时，随着LeRobot生态的推广，该数据集在仿真到真实迁移、多任务策略蒸馏以及触觉-视觉融合学习等热点议题中展现出显著的实证价值，有力推动了服务机器人自主决策能力的边界拓展。