遇见数据集

yukamatsumae/ToyCarDemoSlow_may_20260527_055455

收藏
Hugging Face2026-05-27 更新2026-05-31 收录
官方服务:

资源简介:

该数据集使用LeRobot创建,包含机器人操作任务的数据。数据集结构基于meta/info.json定义:动作和观察状态各包含6个浮点数值,对应机器人关节位置(肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置)。观察还包括右侧摄像头图像,分辨率为480x640,3通道,帧率为20fps。数据集总共有1个任务、1个片段和25帧数据,使用otter_follower机器人类型。数据以Parquet格式存储,总数据文件大小为100MB,视频文件大小为200MB。

This dataset was created using LeRobot and contains data for robot manipulation tasks. The dataset structure is defined in meta/info.json: actions and observation states each include 6 float values corresponding to robot joint positions (shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper). Observations also include right camera images with a resolution of 480x640, 3 channels, and a frame rate of 20fps. The dataset has a total of 1 task, 1 episode, and 25 frames, using the otter_follower robot type. Data is stored in Parquet format, with a total data file size of 100MB and video file size of 200MB.

提供机构:
yukamatsumae
搜集汇总
数据集介绍
yukamatsumae/ToyCarDemoSlow_may_20260527_055455 数据集图片
构建方式
在机器人学习与示教数据需求日益增长的背景下,该数据集依托LeRobot框架完成构建,遵循v3.0代码库版本规范。数据采集以otter_follower机械臂为平台,通过遥操作或自主演示方式记录单次任务执行过程,并以20帧每秒的频率同步采集动作指令与本体状态。原始数据经标准化处理后,以Parquet列式存储格式按分块结构组织于data目录下,视频流则采用AV1编码保存为MP4文件,最终形成包含1个回合、25帧、1项任务的结构化数据集。
特点
该数据集呈现出典型的小样本示教数据特征,其核心价值在于精细刻画了六自由度机械臂的关节空间运动。动作与观测状态均以六维浮点向量表示,涵盖肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部滚转及夹爪位置等关键维度。配套的右视角视频以480×640分辨率、三通道格式记录操作场景,帧率与数据采集严格对齐。整体数据规模精简,单回合与单任务的设计使其适用于快速验证与调试场景。
使用方法
研究者可借助LeRobot生态提供的工具链直接加载该数据集,通过解析meta/info.json获取特征定义与文件路径模板,进而读取Parquet格式的轨迹数据及对应视频流。为直观审视数据内容,可利用HuggingFace Spaces上的可视化工具在线浏览动作序列与视频同步效果。在模型训练或策略评估中,该数据集可作为示教样本输入模仿学习或离线强化学习流程,也可作为数据格式参考用于扩展至更大规模的多任务机器人操作数据采集。
背景与挑战
背景概述
伴随着具身智能与机器人学习范式的演进,大规模演示数据成为驱动视觉-运动策略泛化的核心资源,LeRobot框架的推出为此类数据集的规范化构建与共享提供了统一范式。在此背景下,ToyCarDemoSlow_may_20260527_055455数据集应运而生,其由研究人员依托LeRobot工具链创建,以单一回合、25帧的极简样本记录了otter_follower机械臂在玩具车操作任务中的六自由度关节位置与右视视频流,核心研究问题指向低资源条件下模仿学习策略的可行性与数据效率边界。该数据集虽规模有限,却为机器人操作基准的格式兼容性与长尾场景验证提供了关键参照,对推动数据驱动的机器人控制研究具有基础性意义。
当前挑战
该数据集所面向的机器人操作领域,其核心难题在于真实物理交互中动作序列的高维连续性与视觉观测的复杂耦合,策略需在感知噪声与执行误差并存的条件下保持鲁棒。构建此类数据集面临三大挑战:其一,演示采集需在硬件精度与操作自然性之间取得平衡,关节位置与视觉帧的毫秒级同步对时间对齐提出严苛要求;其二,单回合极短序列在捕捉任务完整动态方面存在固有局限,难以覆盖状态空间的多样性与扰动情形;其三,视频编码参数与元数据结构的规范性直接影响后续策略训练的可复现性与跨平台兼容性,任何偏差都可能削弱数据集的实用价值。
常用场景
经典使用场景
在机器人学习领域,操作演示数据的采集与复现是训练自主策略的基础环节。该数据集依托LeRobot框架构建,经典用法在于为模仿学习与视觉-动作联合建模提供低维状态与视觉观测的对齐样本。其以20帧每秒的频率记录了机械臂六自由度位置与单路RGB视频,相关研究常将其用于行为克隆的基线实验,验证策略网络在有限演示下对抓取与移动轨迹的拟合能力。此外,该数据集亦可用于离线强化学习的轨迹重建与动作序列预测任务,为机器人操作技能的可复现研究提供了标准化的数据结构支撑。
解决学术问题
机器人操作研究长期受制于高质量演示数据稀缺与模态对齐困难的问题。该数据集通过统一编码关节位置、动作指令与视觉观测,缓解了状态—动作—图像三者在时间维度上难以精确同步的困扰。其解决了小样本条件下模仿学习策略泛化性评估缺乏基准的学术困境,使研究者能够在可控的短程任务中检验动作分块、时序建模与视觉表征学习的有效性。该数据集的出现为机器人学习社区提供了可复用的实验素材,对推动可复现研究与算法公平比较具有基础性意义。
衍生相关工作
以LeRobot生态为依托,该数据集催生了一系列围绕轻量级操作策略的研究工作。部分后续项目将其作为预训练语料,探索视觉—语言—动作模型在小型机械臂上的适配与微调;亦有工作基于其短程演示特征,发展出针对单任务场景的动作分块与扩散策略变体。在数据增强与仿真迁移方向,研究者利用其状态与视频的对应关系,构建数字孪生环境以扩展轨迹样本。这些衍生工作共同丰富了低成本机器人学习的算法工具箱,并推动了开源硬件与数据标准的协同演进。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务