sobit_home-pickup_the_block-left-gazebo

该数据集是一个机器人操作数据集，使用LeRobot工具创建。数据集包含一个名为“sobit_home”的移动操作机器人的演示数据，旨在支持机器人模仿学习或强化学习任务。数据集规模包括202个 episodes，总计19,483帧，数据文件大小为100MB，视频文件大小为200MB，帧率为6 fps。数据仅包含训练集。数据集提供了丰富的多模态观测和动作信息：观测包括机器人状态（19维关节位置）、左末端执行器位姿（6维位置和姿态）、以及来自头部摄像头（640x480分辨率）和左手摄像头（1920x1200分辨率）的视频流；动作包括机器人关节的绝对位置和相对变化（delta），共19维，涵盖头部、身体、左臂、左手以及移动基座（base_x, base_y, base_theta）的控制。此外，数据集还包含时间戳、帧索引、episode索引等元数据。机器人详细信息描述了其移动操作器形态，包括头部、身体、左右臂、左右末端执行器以及移动基座的可控关节和对应的ROS控制主题。数据集适用于机器人学习研究，特别是基于视觉的移动操作任务。

This dataset is a robot manipulation dataset created using the LeRobot tool. It contains demonstration data from a mobile manipulation robot named sobit_home, designed to support robot imitation learning or reinforcement learning tasks. The dataset scale includes 202 episodes, totaling 19,483 frames, with a data file size of 100MB, a video file size of 200MB, and a frame rate of 6 fps. The data only includes a training set. The dataset provides rich multimodal observations and action information: observations include robot state (19-dimensional joint positions), left end-effector pose (6-dimensional position and orientation), and video streams from the head camera (640x480 resolution) and left-hand camera (1920x1200 resolution); actions include absolute positions and relative changes (delta) of robot joints, totaling 19 dimensions, covering control of the head, body, left arm, left hand, and mobile base (base_x, base_y, base_theta). Additionally, the dataset includes metadata such as timestamps, frame indices, and episode indices. Robot details describe its mobile manipulator morphology, including controllable joints and corresponding ROS control topics for the head, body, left and right arms, left and right end-effectors, and mobile base. The dataset is suitable for robot learning research, particularly vision-based mobile manipulation tasks.

原始信息汇总

数据集概述

• 数据集名称: k-valentin/sobit_home-pickup_the_block-left-gazebo
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 创建工具: 使用 LeRobot 创建

数据集结构

• 机器人类型: 移动操作器 (mobile_manipulator)
• 机器人名称: sobix_home (版本 1.0.0)
• 总集数 (episodes): 202
• 总帧数 (frames): 19,483
• 总任务数 (tasks): 1
• 块大小 (chunks_size): 1000
• 数据文件大小: 约 100 MB
• 视频文件大小: 约 200 MB
• 帧率 (FPS): 6
• 数据集划分: 仅包含训练集 (splits: train = 0:202)

数据路径

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征 (Features)

该数据集包含多种类型的特征，涵盖动作、状态、图像和时间信息：

1. 动作 (Action)

• action: 19维浮点向量，包含头部（2个关节）、身体（1个关节）、左臂（6个关节）、左手（6个关节）以及移动底座（3个维度：x, y, theta）的动作。
• action.is_fresh: 19维布尔向量，标记动作是否为新。
• action.delta: 19维浮点向量，表示动作的变化量。
• action.delta.is_fresh: 19维布尔向量，标记动作变化量是否为新。
• action.base: 3维浮点向量，表示移动底座的动作 (x, y, theta)。
• action.base.is_fresh: 3维布尔向量，标记底座动作是否为新。

2. 观测状态 (Observation State)

• observation.state: 19维浮点向量，包含与action相同的关节状态（头部、身体、左臂、左手、移动底座）。
• observation.state.is_fresh: 19维布尔向量，标记状态是否为新。
• observation.ee_pose.left: 6维浮点向量，表示左臂末端执行器的位姿 (x, y, z, roll, pitch, yaw)。
• observation.ee_pose.left.delta: 6维浮点向量，表示左臂末端执行器位姿的变化量。

3. 视觉观测 (Observation Images)

• observation.images.head_camera: 视频数据，尺寸为 3×480×640 (通道×高×宽)，编码为 H.264，帧率 6 FPS。
• observation.images.hand_left_camera: 视频数据，尺寸为 3×1200×1920，编码为 H.264，帧率 6 FPS。

4. 时间与索引 (Timestamp & Index)

• timestamp: 浮点型标量，记录时间戳。
• frame_index: 64位整型标量，帧索引。
• episode_index: 64位整型标量，序列索引。
• index: 64位整型标量，数据索引。
• task_index: 64位整型标量，任务索引。

机器人形态 (Robot Morphology)

• 机器人类型: 移动操作器
• 可操作部件:
  • 头部: 包含 head_pan_joint 和 head_tilt_joint 两个关节。
  • 身体: 包含 body_lift_joint 一个关节。
  • 左臂: 包含6个关节（如 arm_left_shoulder_tilt_joint 等）。
  • 右臂: 包含6个关节（如 arm_right_shoulder_tilt_joint 等）。
  • 左手末端执行器: 包含8个手指关节（如 hand_left_finger_l_mcp_joint 等）。
  • 右手末端执行器: 包含8个手指关节（如 hand_right_finger_l_mcp_joint 等）。
  • 移动底座: 支持速度控制（x, y, theta），涉及8个车轮关节。

传感器配置 (Sensors)

• 传感器类型: RGB 相机 (rgb_cam)
• 相机列表:
  • 头部相机: head_camera, 分辨率 640×480，模型 orbbec_336l。
  • 左手相机: hand_left_camera, 分辨率 1920×1200，模型 elp_usbgs1200p01_h120_j。
  • 右手相机: hand_right_camera, 分辨率 1920×1200，模型 elp_usbgs1200p01_h120_j。
• 话题信息:
  • 图像压缩话题: /sobit_home/head_camera/color/image_raw/compressed 等。
  • 相机信息话题: /sobit_home/head_camera/color/camera_info 等。

用户信息 (User Info)

• 创建者: Keith Valentin
• 电子邮箱: [e-mail]
• 地点: 日本创价大学 (Soka University, Japan)

引用 (Citation)

• BibTeX: 暂无相关信息。

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，聚焦于移动机械臂在家庭场景中执行左侧抓取积木的任务。通过遥操作方式，采集了202个完整演示片段，总计19483帧高保真数据。每个片段记录了机器人头部、躯干、左臂、左手及移动基座的19维关节状态与动作指令，同时包含头部及左手摄像头的视觉影像。数据以Parquet格式存储，并依据时间戳与帧索引严格对齐，确保时序一致性。

使用方法

数据集可直接通过HuggingFace的LeRobot库加载，支持Python环境下快速读取与可视化。用户可利用 LeRobot 的 Dataset 接口，轻松访问 action、observation.state 及 observation.images 等关键字段。对于视觉输入，视频数据已编码为H.264格式，可通过内部解码器高效提取帧序列。数据集已划分为训练集（202个片段），适用于模仿学习中的行为克隆、扩散策略等方法的训练，也可作为移动机械臂任务泛化研究的基准测试集。

背景与挑战

背景概述

该数据集由日本创价大学的Keith Valentin研究员于近期创建，依托LeRobot框架，聚焦于移动机械臂在家庭环境中的精细化操作能力。核心研究问题在于如何让具备多自由度关节与移动底盘的机器人（如SOBIT Home）自主完成拾取积木这类需要高度手眼协调的任务。该数据集记录了202个演示回合、近两万帧包含19维动作与状态信息的序列，配合头部和手部摄像头的高清视觉数据，为模仿学习与强化学习算法提供了宝贵的训练样本。其意义在于推动了服务机器人从结构化工业场景向非结构化家庭场景的迁移，为机器人操作技能的泛化研究奠定了数据基础。

当前挑战

该数据集所解决的领域挑战在于家庭环境中机器人操作的复杂性与不确定性，例如物体姿态多变、光照条件不一以及遮挡问题，均要求机器人具备鲁棒的感知与决策能力。构建过程中亦面临显著困难：首先，高维动作空间（19维关节与基座控制）与高频视觉数据（6帧/秒的480p及1200p视频）的同步采集与标注极具技术挑战；其次，在有限样本（202集）下确保数据质量与任务覆盖度的平衡，需精细设计演示协议；最后，多传感器（三摄像头、关节编码器、里程计）的时间对齐与噪声抑制也是确保数据可用性的关键瓶颈。

常用场景

经典使用场景

sobit_home-pickup_the_block-left-gazebo 数据集专为机器人操控领域的模仿学习研究而设计，其核心应用场景聚焦于移动机械臂在家庭环境中完成‘拾取积木’这一精细操作任务。该数据集以HuggingFace的LeRobot框架为依托，收录了202个高保真操作演示片段，涵盖移动基座导航、七自由度左臂关节控制、五指灵巧手抓取以及头部与躯干姿态调整的协同运动。通过记录19维连续动作空间与多视角视觉观测（含640×480头部视角及1200×1920手部视角影像），为研究人员提供了从感知到执行的全栈式学习素材。这一设定尤其适用于验证基于视觉的运动策略算法，例如在仿真环境Gazebo中训练机器人如何将视觉输入映射为精确的关节指令，从而在受控条件下复现人类演示的抓取行为。

解决学术问题

在学术研究中，该数据集旨在攻克移动机械臂在非结构化环境中执行灵巧操作的三大核心难题：跨模态感知融合、长时域动作依赖与复杂运动学规划。传统方法往往依赖手工设计的控制律，难以应对物体姿态变化、基座扰动及多关节耦合等挑战。通过提供包含头部相机与手眼相机双重视觉流、19维状态向量及相应动作增量的同步记录，该数据集支持研究人员探索端到端的模仿学习范式，例如利用扩散策略或变换器架构，从演示中直接学习‘观察-动作’的映射关系。其核心价值在于弥合仿真与真实世界之间的鸿沟——凭借高保真物理引擎Gazebo生成的数据，可有效降低样本获取成本，并为后续迁移至实体机器人奠定基础。这一基准资源的建立，显著推进了通用机器人技能学习领域的发展，促使科研重心从单一抓取向情景感知的全身协调操控转变。

实际应用

实际应用场景中，该数据集为服务型移动机械臂的自主操作能力提供了关键训练支撑。在家庭养老、仓储物流及医疗辅助等环境中，机器人常需在移动中完成物品抓取、搬运或摆放，这对全身运动协调性与环境适应性提出了严苛要求。数据集涵盖的积木拾取任务虽看似基础，却深涉机器人协同控制的精髓：导航至目标位置、调整躯干高度以优化工作空间、通过手眼摄像头精确定位物体，并借助灵巧手的柔顺抓取策略完成作业。基于此类数据训练的模型，可直接赋能具备多自由度与双机械臂配置的智能平台（如Sobit Home机器人），使其在杂乱家居场景中稳健执行拾捡动作。此外，数据集采用Apache-2.0开放协议发布，配合LeRobot的可视化与重放工具，极大降低了领域从业者开展模仿学习实验的门槛，加速了研究成果从实验室向产业转化的进程。

数据集最近研究

最新研究方向

该数据集聚焦于家庭环境下移动机械臂的物体拾取任务，前沿研究方向主要集中在基于模仿学习的机器人操作技能泛化与多模态感知融合。依托LeRobot框架，数据集记录了包含19维关节动作与机械臂末端位姿的高维状态信息，并同步采集头部与手部摄像头的RGB图像，为构建端到端的视觉-运动控制策略提供了坚实基础。当前研究热点利用此类数据集探索机器人从人类演示中学习复杂操作的能力，尤其在非结构化家庭环境中实现零样本或小样本泛化，这对推动服务机器人自主执行日常任务具有重要价值。