Luftaliann/record-tube_merged

该数据集由LeRobot创建，专注于机器人技术领域。它包含28个总片段和16737个总帧，涉及2个任务。数据集特征包括动作（由6个浮点数值表示，对应机器人关节位置如肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、观察状态（同样为6个浮点数值，表示机器人当前关节位置）、前摄像头图像（视频格式，分辨率480x640，3通道，帧率30fps）、时间戳、帧索引、片段索引、索引和任务索引。数据以parquet文件格式存储，总数据大小约100MB，视频文件大小约200MB，机器人类型为so_follower。数据集用于训练和评估机器人控制模型，支持从状态和视觉输入中学习动作策略。This dataset was created using LeRobot and is focused on robotics. It includes a total of 28 episodes and 16737 frames, covering 2 tasks. The dataset features actions (represented by 6 float32 values corresponding to robot joint positions such as shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper position), observation states (also 6 float32 values indicating current joint positions), front camera images (in video format with 480x640 resolution, 3 channels, and 30 fps), timestamps, frame indices, episode indices, indices, and task indices. Data is stored in parquet format, with a total data size of approximately 100MB and video file size of about 200MB. The robot type is so_follower. The dataset is designed for training and evaluating robot control models, enabling learning of action policies from state and visual inputs.

搜集汇总

数据集介绍

构建方式

record-tube_merged数据集专为机器人模仿学习领域设计，采用LeRobot框架构建，整合了多模态传感器的记录数据。该数据集收集了28个完整演示片段，共计16,737帧时间步，涵盖两种不同任务。数据以30帧每秒的频率采集，通过parquet格式存储结构化特征，包括机器人关节动作指令（6自由度）与对应观测状态，以及由前视摄像头以640×480像素分辨率录制的视频流，视频采用AV1编码压缩以平衡清晰度与存储效率。

使用方法

用户可借助LeRobot生态快速加载该数据集，通过配置default数据路径指向parquet文件列表实现流式读写。典型使用流程包括：使用LeRobot的dataset接口读取episode序列，提取observation.state与action矩阵作为模仿学习的输入-输出对，同时复用observation.images.front中的视频帧进行视觉特征编码。数据集已按28个片段整体划分为训练集（索引0至27），支持批量训练与验证。推荐搭配PyTorch或JAX框架，结合LeRobot的DataLoader实现动态批采样。

背景与挑战

背景概述

record-tube_merged数据集由Luftaliann团队基于Hugging Face的LeRobot框架构建，创建于近年，专注于机器人操作技能的模仿学习。该数据集以SO-Follower机器人为核心平台，通过记录6维关节空间动作与状态（包括肩部、肘部、腕部及夹爪自由度），结合30帧每秒的前置摄像头视频流，构建了包含28个示范片段、约1.6万帧的多模态操作轨迹。数据集覆盖两种任务类型，旨在为机器人从示范中学习精细操作行为提供标准化训练基础。作为开源社区推动的机器人学习资源，其采用Apache-2.0许可，便于研究者复现与扩展，对降低机器人模仿学习数据获取门槛、促进低成本硬件上的行为克隆研究具有显著推动作用。

当前挑战

该数据集面对的核心领域挑战在于机器人模仿学习中对连续动作与高维感知的建模难题，尤其在非结构化环境中泛化性不足，当前仅28个示范片段的数据规模难以覆盖真实操作中的多样化场景与干扰因素。构建过程中，技术挑战体现在多模态数据同步与压缩存储的平衡上：使用AV1编码的640×480视频虽节省空间，但编解码延迟可能影响实时训练效率；同时，6维动作空间与视觉观测的时序对齐精度需依赖LeRobot框架的严格约定，而缺乏对失败轨迹的标注进一步限制了从错误中学习的能力。此外，机器人本体差异使得该数据集直接迁移至其他硬件平台存在适配瓶颈。

常用场景

经典使用场景

在机器人学习与示教领域，record-tube_merged数据集承载了通过遥操作采集的机械臂运动轨迹与视觉观测信息。其经典使用场景集中于模仿学习（Imitation Learning）范式中，研究者可借助该数据集训练策略网络，使机器人从人类演示中习得复杂的操作技能。数据集内含28个演示片段，每个片段均记录了六自由度机械臂（so_follower型机器人）的关节状态、动作指令，以及由前置摄像头以30帧/秒速率采集的640×480分辨率彩色图像。这种多模态数据对齐结构，为行为克隆（Behavioral Cloning）和逆强化学习（Inverse Reinforcement Learning）等算法的验证提供了标准化的基准平台。

解决学术问题

该数据集的核心价值在于破解机器人技能泛化中“数据稀缺”与“状态-动作映射不连续”两大困境。学术上，它直接服务于解决非结构化环境下的细粒度操作任务，如抓取、装配与物体传递。通过提供连续的关节位姿序列与视觉反馈，研究者可检验策略网络对时序依赖性的建模能力，例如隐式运动规划或端到端控制策略的鲁棒性。其意义在于推动从实验室固定场景向真实生产场景的迁移学习，降低对昂贵演示数据的依赖，为构建可复用的机器人行为库奠定方法论基础。

实际应用

在工业与服务业机器人部署中，record-tube_merged数据集适用于人机协同场景的快速原型验证。例如，在电子元件装配线上，工程师可基于该数据集训练机械臂完成对微小零件的精准拾取与插入动作。其29Hz的高频动作采样与视觉流，能够支撑实时运动规划与避障系统的开发。此外，家庭服务机器人可借助相似结构的数据，学习诸如递送物品或开关柜门等日常操作，实现从演示中理解人类意图并复现精细动作，从而缩短产品从研发到落地的迭代周期。

数据集最近研究

最新研究方向

在当前机器人学习领域，record-tube_merged数据集作为基于LeRobot框架采集的遥操作示教数据，为模仿学习与行为克隆研究提供了高质量的六自由度机械臂操作样本。该数据集包含28个任务片段、逾1.6万帧图像与状态动作对，其前沿研究方向聚焦于利用高保真视觉与关节状态融合数据，训练机器人从人类演示中泛化出精细操控策略。结合近来具身智能与大模型赋能机器人操作的热潮，该数据集在推动低成本、高复现性的双臂协作任务学习中扮演关键角色，其标准化格式也为多任务迁移学习与端到端策略蒸馏奠定了数据基础，对缩短机器人技能学习周期具有显著意义。