ydaichi/smolvla_test

该数据集是一个机器人数据集，由LeRobot创建，专门用于‘so_follower’机器人类型。它包含101个episodes，总计90617帧数据，数据以parquet格式存储，视频以mp4格式存储。数据集的特征包括动作（包含6个关节位置：肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、观测状态（同样包含6个关节位置）、手腕摄像头图像观测（480x640分辨率，RGB三通道）和侧面摄像头图像观测（480x640分辨率，RGB三通道），以及时间戳、帧索引、episode索引、索引和任务索引等元数据。数据集的帧率为30fps，主要用于机器人控制和学习任务。This is a robotic dataset created by LeRobot, specifically designed for the 'so_follower' robot type. It contains 101 episodes, totaling 90,617 frames. Structured data is stored in Parquet format, while video files are saved in MP4 format. The dataset includes the following features: actions (comprising 6 joint position parameters: shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, and gripper position), observation states (also containing the same 6 joint positions), wrist camera image observations (480x640 resolution, RGB three-channel) and side camera image observations (480x640 resolution, RGB three-channel), as well as metadata such as timestamps, frame indices, episode indices, index and task indices. The dataset has a frame rate of 30 fps, and is primarily used for robotic control and learning tasks.

搜集汇总

数据集介绍

构建方式

smolvla_test数据集基于LeRobot框架构建，旨在为机器人模仿学习提供标准化数据。该数据集包含101个演示片段，总计90617帧，全部围绕单任务“so_follower”机器人操作展开。数据以parquet格式存储，每1000帧为一个分块，同时提供多视角视频文件（腕部与侧面摄像头，分辨率480×640，30fps，AV1编码）。数据采集记录了6维动作与状态信息（包括肩关节、肘关节、腕关节及夹爪位置），所有片段被统一划分为训练集，形成结构化的序列建模基础。

特点

该数据集的核心特色在于其多模态对齐与结构化设计。每个时间步同时包含连续的动作指令、机器人关节状态、多视角视觉观测（腕部与侧面图像）及时间戳索引，便于模型学习状态-动作映射。数据遵循LeRobot v3.0协议，通过元信息文件明确分块路径、帧率及特征维度，支持高效流式加载。此外，统一的任务设定与密集的演示帧（101个片段，近10万帧）为评估单任务模仿学习的性能提供了可靠的基准。

使用方法

使用smolvla_test数据集时，推荐通过LeRobot库集成，直接利用其数据集加载器读取parquet与视频文件。用户可基于`meta/info.json`中的特征定义，提取`action`、`observation.state`及`observation.images`键值构建序列。典型应用包括训练行为克隆或扩散策略等模仿学习算法，将图像与状态作为输入，预测对应的动作序列。由于数据已标准化为固定分块与张量形状，可直接适配PyTorch等深度学习框架的DataLoader，简化预处理流程。

背景与挑战

背景概述

在机器人学习领域，数据驱动的方法正逐步取代传统基于模型的控制策略，而高质量示范数据集的匮乏成为制约该领域发展的关键瓶颈。smolvla_test数据集由Hugging Face LeRobot团队于近期创建，旨在为机器人操作技能学习提供一个标准化的测试基准。该数据集聚焦于“so_follower”机器人平台，包含了101个演示片段，共计约90617帧视觉与状态序列，并以30帧每秒的速率采集了多视角影像（腕部与侧面）及6维关节动作指令。其核心研究问题在于评估和促进模仿学习、离线强化学习等算法在精细操作任务中的泛化与迁移能力。作为LeRobot生态系统中的测试子集，该数据集的推出填补了小型、可控机器人数据集在性能评估方面的空白，为相关研究社区的算法比较与复现提供了可靠依据。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：机器人操作任务的输入输出空间高度非结构化，从高维图像观测到连续动作序列的映射需要模型同时处理时空关联与物理一致性，这对现有算法在小样本场景下的泛化能力构成严峻考验。其次，在构建过程中，尽管采用LeRobot框架实现了标准化的数据采集流水线，但面临硬件标定误差、多传感器同步延迟以及演示质量一致性控制等工程难题；例如，腕部与侧面摄像头需在30 FPS下严格对齐时间戳，而动作序列中的关节限位和力反馈缺失可能引入数据噪声。此外，数据集仅含单一任务类型，其规模较小（100 MB的parquet文件与200 MB的视频文件），这限制了模型学习复杂长程行为的能力，并增加了过拟合风险，亟需领域研究者探索更高效的样本利用策略。

常用场景

经典使用场景

在机器人学习领域，smolvla_test数据集凭借其高质量的遥操作数据，成为模仿学习与行为克隆研究的理想基准。该数据集记录了SO-Follower机器人执行单一任务时的101个完整轨迹，包含约9万帧高帧率（30 FPS）的时序状态与动作数据，并配备腕部与侧方双视角同步视频。研究者可借助这些精准的关节位置控制信号（如肩部、肘部、手腕及夹爪自由度），训练机器人复现复杂操作技能。其数据以Parquet和MP4格式结构化存储，配合LeRobot框架的标准化接口，极大降低了预处理门槛，使得从原始观测到策略学习的端到端流程更加高效。

衍生相关工作

围绕smolvla_test数据集，学术界已衍生出一系列经典工作，涵盖行为克隆的改进算法（如隐式规划与扩散策略）、视觉编码器预训练（如基于视频对比学习的表征提取）以及多任务统一框架（如将动作空间与语言指令对齐）。部分研究利用该数据集验证了数据增强策略（如随机裁剪与时间裁剪）在提升泛化性上的效果，另一些工作则将其作为基准，评估不同记忆模块（如循环神经网络与Transformer）在长程操作任务中的表现。该数据集还催生了关于数据质量度量标准（如轨迹平滑度与关键帧覆盖）的讨论，为构建更大规模、更高质量的机器人数据集提供了方法论指导。

数据集最近研究

最新研究方向

smolvla_test数据集作为LeRobot生态下的轻量级机器人操控基准，正推动模仿学习与视觉语言模型在精准抓取与灵巧操作任务中的交叉融合。该数据集聚焦于双臂跟随机器人（so_follower）的6维关节空间与多视角视觉流（腕部及侧方摄像头），以101个高质量示范片段与逾9万帧高频记录，为小样本策略泛化与实时动作预测提供了标准化的训练与评估平台。近期研究热点在于利用其结构化动作-状态对偶特征与AV1编码的高保真视觉观察，探索联合行为克隆与隐式动力学建模的协同机制，旨在破解机器人从有限示范中习得鲁棒抓取策略的瓶颈。这一数据集的公开不仅加速了开源机器人学习社区的协作创新，也为人机协同制造与自适应装配等工业场景的落地提供了可复现的基准，其对操作精度与视觉推理的深度融合要求，正推动领域向更自主、更类人的机械控制范式演进。