yukamatsumae/ToyCarDemoSlow_may_20260527_010435

该数据集由LeRobot创建，专注于机器人技术任务，特别是针对Otter Follower机器人类型。数据集包含5个总集，1500个总帧，以及1个总任务。数据以20帧每秒（fps）的速率采集，并存储在Parquet文件中，总数据文件大小为100MB，视频文件大小为200MB。数据集的特征包括动作（action）和观察状态（observation.state），两者均为6维浮点数组，分别代表机器人关节位置（如肩部平移、肩部提升、肘部弯曲、手腕弯曲、手腕滚动和夹爪位置）。此外，观察图像（observation.images.right）为视频格式，分辨率为480x640，3通道，使用AV1编解码器，无音频。其他特征包括时间戳、帧索引、集索引、索引和任务索引。数据集结构支持分块存储，数据路径和视频路径分别指定。数据集已划分为训练集（集0到4），适用于机器人控制、视觉导航和机器学习任务。This dataset was developed by LeRobot, focusing on robotics tasks, specifically targeting the Otter Follower robot platform. It contains 5 total splits, 1500 total frames, and 1 single task. The data is collected at a rate of 20 frames per second (fps), stored in Parquet files, with a total data file size of 100MB and video file size of 200MB. The dataset features two core attributes: action and observation.state, both 6-dimensional floating-point arrays that respectively represent robot joint positions including shoulder translation, shoulder lift, elbow flexion, wrist flexion, wrist roll, and gripper position. Additionally, observation.images.right is a video format with a resolution of 480x640, 3 channels, using the AV1 codec and no audio. Other attributes include timestamp, frame index, split index, sample index, and task index. The dataset structure supports chunked storage, with separate specifications for data paths and video paths. The dataset has been partitioned into training splits (split 0 to 4), which is applicable to robotics control, visual navigation, and machine learning tasks.

搜集汇总

数据集介绍

构建方式

在机器人学习与操作策略研究领域，高质量演示数据的采集对于算法验证与模型训练具有基础性意义。该数据集依托LeRobot框架构建，以otter_follower型机械臂为采集平台，通过遥操作或预设程序驱动机械臂完成玩具车相关的操作任务，同步记录动作指令、关节状态与视觉观测。数据以20帧每秒的频率采样，共涵盖5个回合、1500帧，包含6维关节位置动作与状态，以及分辨率为480×640的右侧视角视频，经av1编码压缩后以parquet与mp4格式分块存储，形成结构化的机器人演示数据集。

特点

该数据集在结构与内容上体现出面向机器人模仿学习任务的典型特征。其动作与状态空间均采用6自由度关节位置表示，涵盖肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转及夹爪开合等维度，与otter_follower机械臂的运动学构型高度契合。视觉模态提供右侧单目视频流，帧率与动作采样率严格对齐，确保多模态时序同步。数据集划分为训练集，包含5个完整回合，任务单一，便于聚焦特定操作技能的建模与评估，同时遵循Apache-2.0许可，具备良好的开放性与可复用性。

使用方法

在具体使用层面，该数据集可借助LeRobot工具链进行加载与解析，用户可通过官方提供的可视化空间在线浏览数据分布与视频内容，亦可直接读取meta/info.json获取特征定义与数据组织方式。训练时，研究者可依据data_path与video_path路径模板定位parquet数据文件与视频文件，按回合索引提取动作、状态与图像序列，用于行为克隆、模仿学习或视觉-动作联合建模等任务。数据集遵循标准化的目录结构与分块策略，便于与现有机器人学习框架集成，支持端到端的策略训练与离线评估。

背景与挑战

背景概述

机器人模仿学习旨在使机械体通过示教数据习得复杂操作技能，其核心在于构建高质量的视觉-动作配对样本库。ToyCarDemoSlow数据集由LeRobot框架生成，记录了otter_follower机械臂在低速模式下执行玩具车操控任务的五段完整演示，每段包含关节位置、夹爪状态及前视视频流。尽管发布者与具体机构尚未明确，该数据集为端到端策略学习提供了标准化的开源样本，有望推动低成本机械臂在精细操作中的泛化性研究，并为后续数据采集与算法验证提供可复用的基准。

当前挑战

该数据集所面对的领域挑战在于，精细操作任务依赖于高频率、低延迟的视觉反馈与精确的关节控制，而现有模仿学习策略常面临样本效率低、环境泛化差等瓶颈。构建过程中的挑战包括：低速演示虽便于特征对齐，却可能导致策略在真实动态场景中响应迟滞；单一任务与有限演示次数（仅五段）难以覆盖操作空间中的多模态分布，易引发过拟合；此外，视频压缩编码与传感器同步误差亦会引入噪声，对策略鲁棒性构成潜在威胁。

常用场景

经典使用场景

在机器人模仿学习与具身智能研究领域，ToyCarDemoSlow数据集承载了基于视觉-动作映射的经典训练范式。该数据集汇聚了20Hz帧率下六自由度机械臂的关节位置与末端执行器状态，并同步采集了640×480分辨率的右侧视角视频流，构成了典型的“观察-动作”对。研究者常将其用于行为克隆模型的监督训练，通过输入高维视觉观测与本体状态，预测机械臂的连续控制指令，进而驱动机器人复现缓慢而精细的玩具车操作任务。这一使用场景深度契合当前端到端机器人学习的主流路径，为算法验证提供了标准化、低噪声的示范数据基础。

实际应用

在工业与教育机器人场景中，该数据集可用于快速原型验证与算法部署前的仿真预训练。例如，在协作机器人完成缓慢抓取或精密放置任务时，开发者可直接利用其动作序列与对应视觉观测进行策略微调，减少真实环境中的试错成本。同时，该数据集的开源属性使其成为机器人操作系统课程与竞赛中的理想教学素材，学生可借此理解多模态数据同步、轨迹回放及模仿学习完整流程。其应用亦延伸至远程操作辅助系统，通过分析数据集中的动作分布，优化遥操作映射关系，提升人机协作的平滑性与安全性。

衍生相关工作

基于ToyCarDemoSlow的典型衍生工作集中于视觉-语言-动作模型的轻量化适配与数据增强策略。部分研究以其为基准，探索扩散策略在少样本条件下的超参数敏感性，另有工作围绕该数据集构建仿真到现实的迁移管线，验证域随机化对策略鲁棒性的增益。在LeRobot生态中，该数据集常被用于对比不同时序建模架构对动作预测精度的影响，衍生出关于状态历史窗口长度与视觉编码器预训练权重的消融实验。这些工作共同丰富了低维机械臂精细操作的算法工具箱，并为后续大规模多任务数据集的设计提供了可借鉴的标准化模板。