smolvla_move_red_sponge

这是一个关于机器人技术的数据集，包含了一个名为LeRobot的机器人执行任务的数据。数据集共有60个剧集，17261帧，包含1个任务。数据以1000帧为一个数据块，总数据文件大小为100MB，视频文件大小为500MB，帧率为30fps。数据集仅有一个训练集划分，数据包含行动、观察状态、正面和侧面图像等信息。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: LeRobot

数据集规模

• 总任务数: 1
• 总片段数: 60
• 总帧数: 16796
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS

数据结构

• 数据文件格式: Parquet
• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 分块大小: 1000
• 数据分割: 训练集包含全部60个片段

特征字段

动作特征

• 名称: action
• 数据类型: float32
• 维度: 6
• 关节位置: 肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转、夹爪

观测特征

状态观测

• 名称: observation.state
• 数据类型: float32
• 维度: 6
• 关节位置: 肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转、夹爪

图像观测

前视摄像头

• 名称: observation.images.front
• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图

侧视摄像头

• 名称: observation.images.side
• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图

索引特征

• 时间戳: float32，维度1
• 帧索引: int64，维度1
• 片段索引: int64，维度1
• 数据索引: int64，维度1
• 任务索引: int64，维度1

技术信息

• 代码库版本: v3.0
• 机器人类型: so101_follower
• 视频无音频

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，smolvla_move_red_sponge数据集依托LeRobot框架构建，通过so101_follower型机器人系统采集了60个完整任务片段，共计16796帧数据。数据以分块形式存储于Parquet文件中，每块包含1000帧记录，确保了高效的数据管理与访问。采集过程中同步记录了机器人关节位置、前视与侧视双视角视频流，并以30帧每秒的速率保存，为机器人动作学习提供了多模态时序数据基础。

特点

该数据集在机器人感知与控制领域展现出显著特性，其核心特征包含六维关节空间动作向量与对应的状态观测值，覆盖肩部平移、肩部抬升、肘部弯曲及腕部多自由度运动。双路视觉数据采用480×640分辨率彩色视频流，分别从前向与侧向视角捕捉操作场景，辅以精确的时间戳与帧索引标记。数据结构设计支持按任务索引与片段划分进行灵活检索，为模仿学习与强化学习算法提供了丰富的时空关联信息。

使用方法

研究者可通过解析Parquet数据文件直接获取机器人动作序列与观测状态，利用帧索引实现时序数据的精确对齐。视频数据可通过指定路径加载，配合动作向量与关节状态进行端到端策略训练。数据集已预设训练集划分，支持基于PyTorch或TensorFlow等框架构建深度学习模型，适用于机器人动作预测、视觉伺服控制等任务，同时兼容LeRobot生态系统的标准数据处理流程。

背景与挑战

背景概述

在机器人操作任务研究领域，smolvla_move_red_sponge数据集作为LeRobot项目的重要组成部分，聚焦于机械臂执行物体抓取与转移任务。该数据集通过so101_follower型机器人采集了60个完整操作序列，包含16796帧多模态数据，涵盖了关节位置状态、双视角视觉观测及时间戳等关键特征。其构建旨在推动机器人模仿学习与行为克隆方法的发展，为研究高维状态空间下的动作策略生成提供了标准化基准。

当前挑战

该数据集针对机器人操作任务中存在的动作轨迹优化与视觉-运动协调问题，需解决从多视角图像到连续关节控制的映射挑战。在数据构建过程中，面临多传感器时序同步精度控制、长周期操作任务的数据连续性保障，以及高分辨率视频流与机器人状态数据的存储效率平衡等工程技术难题。

常用场景

经典使用场景

在机器人操作学习领域，smolvla_move_red_sponge数据集通过记录六自由度机械臂抓取红色海绵的完整动作序列，为模仿学习算法提供了标准化的训练基准。其多视角视觉观测与关节状态数据相结合的特性，使得研究者能够系统分析从感知到执行的端到端策略生成过程，尤其适用于验证视觉运动控制模型在复杂环境中的泛化能力。

实际应用

在工业自动化场景中，该数据集可直接应用于柔性物体抓取系统的开发，例如物流分拣中的不规则物品处理。其记录的机械臂轨迹规划数据能为生产线上的自适应抓取算法提供优化依据，同时多视角视觉数据对开发基于视觉伺服的精密装配系统具有重要参考价值。

衍生相关工作

基于该数据集衍生的研究已催生多项创新工作，包括结合图神经网络的动态抓取策略预测模型、利用时空注意力机制的视觉运动表征框架等。这些成果通过改进动作序列的时序建模方式，持续推动着机器人操作技能从孤立任务向连续任务范式的演进。