yukamatsumae/ToyCarDemoSlow_may_20260527_060752

该数据集使用LeRobot创建，是一个机器人领域的演示数据集，具体针对ToyCarDemoSlow任务。数据集中包含50个episode，总帧数为15000，帧率为20fps。特征包括动作（action）和观察（observation），其中动作和观察状态都包含6个关节位置（如shoulder_pan.pos、shoulder_lift.pos等），观察还包括右摄像头图像（分辨率为480x640，3通道）。数据以parquet文件格式存储，视频以mp4格式存储，使用av1编解码器。机器人类型为otter_follower，数据分割为训练集（episode 0到50）。数据集总数据文件大小为100MB，视频文件大小为200MB。This dataset was created using LeRobot and is a robotics demonstration dataset for the ToyCarDemoSlow task. It contains 50 episodes with a total of 15000 frames at a frame rate of 20fps. Features include action and observation, where both action and observation state consist of 6 joint positions (e.g., shoulder_pan.pos, shoulder_lift.pos, etc.), and observation also includes right camera images (resolution 480x640, 3 channels). Data is stored in parquet format, and videos are stored in mp4 format using the av1 codec. The robot type is otter_follower, and the data split is training set (episodes 0 to 50). The total data file size is 100MB, and the video file size is 200MB.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架完成采集与组织，面向机器人操作学习场景中的低速示范需求，通过配备单目视觉传感器的otter_follower机械臂执行玩具车操控任务，以20Hz频率同步记录关节动作与视觉观测。原始数据经统一时间戳对齐后，按六个自由度分别存储肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部滚转及夹爪位置，并以Parquet列式格式与AV1编码视频分块归档，形成50条回合、共15000帧的规范化示范数据集。

特点

数据集聚焦于单一玩具车操控任务，涵盖50个完整演示回合，动作与状态维度均为六自由度，与otter_follower平台的运动学结构严格对应。视觉模态提供480×640分辨率的右侧单目视频流，以AV1编码兼顾存储效率与解码质量，帧率与动作采样率保持同步。元信息完整记录机器人类型、分块大小、训练集划分及各字段数据类型，便于在机器人学习中直接用于模仿学习或视觉运动策略的建模与评估。

使用方法

使用时可借助LeRobot配套工具加载Parquet数据文件与对应视频片段，依据episode_index与frame_index重建回合级时序，通过timestamp完成视觉与动作模态的对齐。数据集提供可视化入口，可直接在HuggingFace空间查看示范轨迹。研究者可将observation.images.right作为视觉输入、observation.state作为本体状态输入，以action为监督目标，训练端到端的视觉运动策略，或用于行为克隆与离线强化学习等机器人操作学习任务。

背景与挑战

背景概述

伴随具身智能与机器人学习领域的迅猛演进，高质量示范数据的稀缺日益成为制约策略泛化能力的瓶颈。ToyCarDemoSlow数据集由研究人员依托LeRobot框架构建，于2026年5月发布，聚焦otter_follower机械臂在低速状态下执行玩具车操控任务的示范采集。数据集涵盖50个回合、15000帧、20帧每秒的同步视觉与本体感知记录，状态与动作空间均为六自由度关节位置。其核心研究问题在于为模仿学习与视觉-动作联合建模提供细粒度时序样本，进而推动低成本桌面级机器人操作策略的可复现研究。

当前挑战

该数据集所面向的领域问题在于：如何在视觉观测与本体状态的高维耦合下，实现精细且时序一致的操作策略学习，这恰是机器人模仿学习长期面临的泛化与样本效率难题。构建过程中的挑战同样显著：低速示范虽降低了动态噪声，却对动作时序对齐与视觉帧同步提出更高要求；单任务、单视角的采集设定限制了场景多样性，仅包含右视摄像头与六自由度关节记录，可能削弱策略在复杂环境中的迁移能力；此外，50个回合的样本规模对于训练稳健的端到端模型仍显不足，数据分布易受操作者习惯与初始位姿的影响，从而引入潜在偏差。

常用场景

经典使用场景

在机器人模仿学习与视觉运动控制研究领域，ToyCarDemoSlow数据集承载着经典的行为克隆任务范式，其核心使用场景在于训练策略网络依据视觉观测与本体感知状态预测机械臂动作。该数据集以二十赫兹的频率同步采集了右视角图像、六自由度关节位置及对应动作指令，构建了五十条完整演示轨迹，为端到端策略学习提供了时序对齐的多模态监督信号。研究者通常将图像与状态作为输入，以动作序列作为回归目标，在LeRobot框架下开展离线训练与在线评估，从而检验模型在玩具车操控任务中的泛化能力与动作平滑性。

衍生相关工作

围绕该数据集衍生的经典工作主要集中于行为克隆与视觉运动策略的改进，包括基于Transformer架构的动作分块预测方法、引入时序对比学习的表征预训练策略，以及在LeRobot生态下开展的模仿学习基准评测。部分研究以此数据为起点，探索数据增强与轨迹插值对策略泛化能力的增益，亦有工作将其作为多任务学习中的子任务样本，验证跨任务知识共享的可行性。这些衍生研究共同推动了低成本演示数据在机器人技能学习中的高效利用。

数据集最近研究

最新研究方向

在机器人学习领域，基于LeRobot框架构建的ToyCarDemoSlow数据集正推动模仿学习与精细操作策略的前沿探索。该数据集聚焦于otter_follower机械臂对玩具车的低速演示，融合20Hz视觉观测与六自由度关节动作，为视觉-动作联合建模提供了高质量时序样本。当前研究热点集中于利用此类低帧率、长时程数据提升策略的泛化性与稳定性，尤其在少样本模仿学习与跨任务迁移中展现潜力。其意义在于降低真实机器人数据采集门槛，加速从仿真到现实的策略部署，并为开源社区提供可复现的基准，推动具身智能在家庭服务与玩具操作场景的落地。