ydaichi/smolvla_v2

该数据集由LeRobot创建，专注于机器人控制任务，具体针对so_follower类型的机器人。数据集包含4个episodes，总计3405帧，涉及1个任务。数据以parquet文件形式存储，视频文件为mp4格式，帧率为30fps。特征包括：动作数据（6个浮点数表示肩部平移、肩部提升、肘部弯曲、手腕弯曲、手腕旋转和夹爪位置）、观察状态（与动作相同的6个浮点数）、两个摄像头图像（手腕和侧面摄像头，均为480x640分辨率、3通道的视频数据）、时间戳、帧索引、episode索引、索引和任务索引。数据集适用于机器人学习和控制研究。This dataset was created by LeRobot, focusing on robotic control tasks specifically for so_follower-type robots. It includes 4 episodes with a total of 3405 frames, covering one single task. The data is stored in Parquet files, with video files in MP4 format at 30 fps. The dataset features the following contents: action data (6 floating-point numbers representing shoulder translation, shoulder lift, elbow flexion, wrist flexion, wrist rotation, and gripper position), observation states (6 floating-point numbers matching those in the action data), two camera images from the wrist and side cameras (both with 480×640 resolution and 3-channel video data), timestamps, frame indices, episode indices, indices, and task indices. This dataset is suitable for research in robotic learning and control.

搜集汇总

数据集介绍

构建方式

smolvla_v2数据集基于LeRobot框架构建，专注于机器人学习领域。该数据集通过收集单一任务下的4个完整操作序列，共计3405帧数据，涵盖人类远程操作过程中的动作指令与观测信息。每个序列以30帧每秒的采样频率记录，数据以Parquet格式存储，视频则采用AV1编码压缩，分别存放于data和videos目录下的分块文件中。数据集的元信息记录在meta/info.json中，明确标注了机器人类型为so_follower，并定义了训练集与未划分的验证集比例，确保了数据组织的规范性与可扩展性。

使用方法

使用者可通过LeRobot库的API便捷加载该数据集。首先需安装LeRobot及依赖库，随后利用其数据加载器读取Parquet文件中的动作和状态序列，同时通过视频路径实时解码AV1编码的视觉流。数据集分块以统一命名规则组织（如chunk-{索引}/file-{索引}.parquet），支持按片段或帧索引随机访问。对于模型训练，建议在初始化时指定批量大小与帧率参数，利用数据集中预定义的train split进行监督学习，例如训练机器人策略网络以根据当前观测预测下一动作，或进行视觉-动作联合表示学习。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为一种高效策略，要求机器人从人类示教中习得复杂操作技能。由HuggingFace团队基于LeRobot框架构建的smolvla_v2数据集，于近期发布并采用Apache-2.0许可协议，旨在为机器人视觉-语言-动作联合建模提供标准化基准。该数据集聚焦于单任务学习场景，包含4个完整演示回合与3405帧时序数据，以30帧/秒的采样频率记录SO Follower型机器人腕部和侧视双视角640×480像素视频，并同步采集六自由度关节位置与夹爪状态，形成多模态行为轨迹。尽管规模小巧，smolvla_v2通过精炼的数据结构推动了机器人在精细操作中的动作预测研究，为验证算法在低资源条件下的泛化能力提供了关键测试平台。

当前挑战

当前smolvla_v2数据集所面临的挑战主要集中于两个维度。其一，领域范式层面，机器人操作面临从示教数据到跨场景鲁棒行为迁移的难题，该数据集仅含单一任务和4个回合，难以覆盖真实世界中的环境变化与动作多样性，模仿学习模型易受分布外状态干扰而失效。其二，构建过程中，数据采集依赖人工远程操控示教，尽管LeRobot框架简化了流程，但同步录制的视频与状态信号易因机器人抖动或光照变化产生噪声，且仅包含4个训练回合导致统计量不足，模型难以学习到可泛化的动作-状态映射关系，加剧了过拟合风险。

常用场景

经典使用场景

在机器人学习与操控领域，smolvla_v2数据集为从人类演示中学习动作策略提供了基础资源。该数据集记录了SO-50Follower机械臂执行单一任务的轨迹，包含手臂6个自由度关节角度与两个视角（腕部与侧方）的视觉观测，以30帧每秒的同步视频和状态数据呈现。经典使用方法是将观测图像和关节状态作为输入，训练模仿学习或强化学习模型以复现演示动作。

解决学术问题

该数据集解决了机器人领域从人类示范中高效学习策略的学术难题，特别是针对低资源环境下的策略泛化与样本效率问题。通过提供紧凑但完整的多模态轨迹数据，它支持研究人员探索动作预测、视觉运动耦合以及行为克隆的边界。其意义在于推动了数据驱动方法在真实机器人操控中的应用，验证了小规模高质量数据集在快速原型验证中的潜力，为自动化流程的落地奠定了基础。

实际应用

在实际应用中，smolvla_v2数据集可服务于工业自动化与科研机器人平台的快速部署。例如，利用该数据集训练的策略模型能够指导机械臂完成精密装配或抓取任务，减少手动编程成本。同时，它作为LeRobot生态的一部分，支持社区开发者通过标准化接口快速复现实验，加速从仿真到实机的迁移，在智能制造、家庭服务机器人等场景中具有潜在价值。

数据集最近研究

最新研究方向

在机器人学习领域，小样本模仿学习与低延迟人机交互正成为前沿热点，smolvla_v2数据集作为使用LeRobot框架创建的轻量化机器人操作数据集，其核心价值在于探索基于视觉-动作联合表示的少样本技能迁移。该数据集仅包含4条示教轨迹、共3405帧，但通过双视角视觉输入（腕部与侧面摄像头）以及六自由度关节动作序列，为研究如何从极少量演示中泛化出稳健的操控策略提供了理想实验平台。当前研究聚焦于借助预训练视觉编码器与扩散策略模型，在此类紧凑数据集上实现高效的动作先验学习，从而突破传统机器人学习中大规模数据依赖的瓶颈。该数据集所采用的parquet与视频分块存储格式，亦在推动机器人训练数据标准化方面具有示范意义。