SmolVLA_LiftCube_Franka

该数据集是一个机器人学相关的数据集，特别是涉及到了franka类型的机器人。数据集包含了机器人的关节和夹爪位置信息，以及从两个视角（上方和手腕处）获取的图像。数据被分为多个剧集和块，并指定了数据和视频文件路径的格式。该数据集遵循Apache-2.0许可。

This is a robotics-related dataset specifically focusing on Franka-type robots. The dataset contains joint and gripper position information of the robots, as well as images captured from two perspectives: overhead and wrist-mounted viewpoints. The data is divided into multiple episodes and chunks, with the formats of data and video file paths specified. This dataset is licensed under Apache-2.0.

原始信息汇总

SmolVLA_LiftCube_Franka 数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 标签: LeRobot, smolvla, so100, custom

数据集描述

• 创建工具: LeRobot
• 主页: [More Information Needed]
• 论文: [More Information Needed]

数据集结构

• 数据文件格式: Parquet
• 配置名称: default
• 数据文件路径: data/*/*.parquet

元数据信息

• 代码库版本: v2.1
• 机器人类型: franka
• 总片段数: 10
• 总帧数: 1203
• 总任务数: 2
• 总视频数: 0
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割:
  • 训练集: 0:10

数据特征

• 动作 (action):
  • 数据类型: float32
  • 形状: [8]
  • 名称: panda_joint1.pos, panda_joint2.pos, panda_joint3.pos, panda_joint4.pos, panda_joint5.pos, panda_joint6.pos, panda_joint7.pos, gripper.pos
• 观测状态 (observation.state):
  • 数据类型: float32
  • 形状: [9]
  • 名称: panda_joint1.pos, panda_joint2.pos, panda_joint3.pos, panda_joint4.pos, panda_joint5.pos, panda_joint6.pos, panda_joint7.pos, finger1.pos, finger2.pos
• 观测图像 (observation.images.up, observation.images.wrist):
  • 数据类型: image
  • 形状: [256, 256, 3]
  • 名称: height, width, channels
• 其他特征:
  • timestamp: float32, [1]
  • frame_index: int64, [1]
  • episode_index: int64, [1]
  • index: int64, [1]
  • task_index: int64, [1]

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作领域，SmolVLA_LiftCube_Franka数据集通过LeRobot框架精心构建，记录了Franka机械臂执行立方体抓取任务的详细数据。该数据集包含200个完整操作序列，总计24093帧数据，采用30fps的采样频率确保动作连续性。数据以分块形式存储于Parquet文件中，每个文件包含1000帧的结构化记录，涵盖关节位置、夹爪状态、多视角图像及时间戳等多模态信息。

特点

该数据集以高维度特征空间著称，不仅包含8自由度机械臂的关节位置和夹爪状态，还整合了顶部和腕部双视角的256x256 RGB图像。时间序列数据通过精确到帧的索引系统实现对齐，支持端到端强化学习训练。独特之处在于其多任务设计，包含3种不同操作场景，为研究跨任务迁移学习提供了理想基准。传感器数据与动作指令的严格同步，为模仿学习算法提供了高质量的示范数据。

使用方法

研究者可通过解析Parquet文件直接访问多维时间序列数据，其中动作空间包含7个关节角度和1个夹爪开合值，观测空间则整合了9维状态向量和双视角视觉输入。建议使用帧索引和片段索引实现数据批处理，30fps的时间分辨率支持精细的动作分析。数据集已预分为训练集，可直接用于策略网络的监督训练或行为克隆。对于视觉-动作耦合任务，建议将图像观测与关节状态数据联合输入网络架构。

背景与挑战

背景概述

SmolVLA_LiftCube_Franka数据集是机器人领域的重要资源，由LeRobot团队基于Franka机械臂平台构建，专注于强化学习与视觉-动作联合建模的研究。该数据集记录了机械臂执行立方体抓取任务的200个完整交互序列，包含24,093帧多模态数据，涵盖关节状态、末端执行器控制指令及双视角视觉观测。通过高精度时序同步的传感器数据流，为研究复杂操作任务中的策略泛化与感知-动作耦合机制提供了基准平台。其Apache-2.0开源协议促进了学术与工业界的广泛应用，成为机器人操作技能学习领域的关键基础设施之一。

当前挑战

该数据集面临的挑战主要体现在算法开发与数据质量两个维度。在算法层面，8自由度机械臂动作空间与多视角视觉观测的异构特征融合，对策略网络的表征能力提出严峻考验；同时，稀疏奖励环境下的长时序任务规划要求算法具备有效的credit assignment机制。数据构建过程中，机械臂控制指令与视觉观测的毫秒级同步、不同光照条件下图像特征的稳定性保持、以及动作指令与实际执行间的物理延迟补偿，均为数据采集系统设计带来显著工程挑战。此外，有限的任务多样性（仅3类任务）可能制约学习模型的跨任务迁移能力验证。

常用场景

经典使用场景

在机器人控制与操作领域，SmolVLA_LiftCube_Franka数据集为研究者提供了一个标准化的测试平台，用于评估机械臂在执行物体抓取与堆叠任务中的表现。该数据集记录了Franka机械臂在多种姿态下的关节位置、夹爪状态以及视觉信息，为算法开发提供了丰富的多模态数据支持。

解决学术问题

该数据集有效解决了机器人操作任务中样本稀缺、数据异构的难题。通过提供精确的关节角度、夹爪状态及同步视觉数据，研究者能够深入探索机械臂运动规划、视觉伺服控制等核心问题。其标准化的数据格式进一步促进了不同算法间的公平比较，推动了机器人操作技术的理论发展。

衍生相关工作

围绕该数据集已衍生出多项机器人学习的重要研究。包括基于强化学习的端到端操作策略优化、多模态感知的抓取位姿预测等方向。部分工作进一步扩展了数据集的边界，通过迁移学习将其应用于更复杂的操作任务，形成了机器人操作领域的系列研究脉络。