mydummy

该数据集是一个机器人领域的数据集，使用LeRobot工具创建，包含28个episodes，总计16800帧数据，涵盖1个任务。数据以Parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB。数据集结构包括动作（action）、观测状态（observation.state）、来自腕部和顶部摄像头的图像观测（observation.images.wrist和observation.images.top，均为视频格式，分辨率480x640，帧率30fps）、时间戳（timestamp）、帧索引（frame_index）、episode索引（episode_index）、全局索引（index）和任务索引（task_index）等字段。动作和观测状态字段均包含6个浮点数值，对应机器人关节位置（如肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）。数据集适用于机器人控制、模仿学习或强化学习等任务的研究与开发。许可证为Apache 2.0。

原始信息汇总

数据集概述：jackdzk/mydummy

• 许可证：Apache-2.0
• 任务类别：机器人（Robotics）
• 标签：LeRobot
• 数据集创建工具：LeRobot

数据集结构

• 数据格式：Parquet 文件（路径：data/*/*.parquet）
• 配置名称：default
• 高清视频：包含两个摄像头视角（wrist 和 top），分辨率均为 480×640，帧率 30 FPS，编码格式为 AV1，无音频。

特征详情

特征名称	数据类型	形状	说明
action	float32	[6]	6维机器人关节动作（肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪）
observation.state	float32	[6]	6维机器人关节状态（与动作维度对应）
observation.images.wrist	video	(480,640,3)	腕部摄像头视频流
observation.images.top	video	(480,640,3)	顶部摄像头视频流
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	回合索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

数据规模

• 总回合数：28
• 总帧数：16,800（30 FPS，约9.3分钟）
• 总任务数：1
• 数据文件大小：100 MB
• 视频文件大小：200 MB
• 分块大小：每块 1,000 帧

数据集划分

• 训练集：所有回合（0:28）

机器人类型

• 机器人型号：so_follower

引用信息

当前暂无 BibTeX 引用格式，需进一步补充。

搜集汇总

数据集介绍

构建方式

本数据集基于LeRobot框架构建，专为机器人模仿学习任务设计。数据采集聚焦于机械臂操控场景，采用so_follower型机器人平台，以30帧/秒的采样频率连续记录28个完整演示片段，总计16800帧时序数据。每条样本均包含6维关节角度及位置构成的动作指令（action）与观测状态（observation.state），并同步采集了腕部与俯视双视角的640×480像素视频流，采用AV1编码压缩存储。数据集以parquet格式组织，按固定帧数分块存储，同时将视频文件独立存放于指定目录，形成结构化存储体系。

特点

该数据集的核心特色在于多模态与高保真特性的深度融合。它不仅记录了机械臂六自由度关节的精确动作序列与对应状态，还通过双摄像头视角提供了丰富的视觉上下文信息（腕部近端视角与全局俯视视角），为视觉-运动联合建模提供了天然支撑。总计仅包含1类任务与少量演示，体现了小样本模仿学习的典型特征。数据以30fps的平滑时序呈现，且所有时序样本都已按episode索引结构化标注，便于片段化的序列建模或离线强化学习评估。

使用方法

推荐通过LeRobot库加载本数据集，利用其内置的数据读取接口自动解析parquet索引文件与视频流。用户可依据'训练集'划分（占全部28个episodes）直接进行模型训练，或通过index/episode_index字段实现样本重采样与时间对齐。尤为便利的是，数据集已集成至可视化工具，点击HuggingFace空间中的'Visualize this dataset'按钮即可快速预览数据范例与动作流，极大降低了环境搭建与数据审计的门槛。

背景与挑战

背景概述

mydummy数据集是一个面向机器人操作学习领域的仿真与真实数据混合的基准资源，由Hugging Face社区基于LeRobot框架创建，旨在推动具身智能研究中模仿学习与行为克隆算法的进步。该数据集核心聚焦于机械臂的精细操作任务，收录了来自SO-100型从动机械臂的28个完整操作回合，共计16800帧的高频同步数据。每个样本均包含多视角视觉观测（腕部与顶部摄像头，分辨率480×640）、六维关节空间状态与动作序列，以30帧/秒的频率记录，展现了从传感器信息到运动控制的完整映射。通过对机械臂运动轨迹与视觉反馈的联合建模，mydummy为端到端机器人技能学习提供了标准化的数据基础，对简化机器人编程与提升泛化能力具有重要意义。

当前挑战

mydummy数据集所应对的领域挑战主要在于解决机器人操作学习中数据获取成本高昂与任务泛化性不足的瓶颈。传统机器人编程依赖专家手动设计复杂逻辑，难以适应非结构化环境，而数据集通过提供多模态、高同步性的操作演示，为模仿学习算法提供了可复现的监督信号。在构建过程中，团队面临多重技术挑战：首先，需精心设计机械臂的运动轨迹采样策略，确保28个回合覆盖不同的操作起始条件与扰动情形，避免数据分布过于狭窄；其次，视频与关节状态数据的精确时间同步（帧率30Hz）要求严格的硬件校准与软件流水线优化；此外，采用av1编码的高清视频流在平衡视觉质量与存储效率（视频文件200MB）的同时，还需保持与Parquet格式结构化数据的一致索引，这增加了数据管道设计的复杂性。

常用场景

经典使用场景

在机器人学习领域，mydummy数据集为模仿学习与行为克隆提供了宝贵的训练素材。该数据集包含28个演示回合，每个回合均记录了六自由度机械臂的关节状态、末端执行器动作以及来自腕部和顶部摄像头的第一人称视角视频流，帧率为30 fps。研究者可借助这些多模态观测数据——结合视觉图像与本体感知——来训练策略网络，使其学会复现专家演示中的操作序列，例如抓取或放置任务。数据集结构清晰，支持分块加载，便于在强化学习或离线策略优化框架下进行高效采样与验证。

解决学术问题

mydummy数据集直面机器人技能获取中的核心瓶颈：如何从少量演示中泛化出鲁棒的操作策略。通过提供高保真的视觉-运动对齐数据，它解决了传统方法中观测空间与动作空间匹配不精确的问题。该数据集的引入推动了具身智能领域关于多模态融合与时序建模的研究，使学术社区能够在标准化的基准上比较不同算法（如扩散策略、基于Transformer的策略）在低样本下的学习效率。其意义在于降低了机器人数据采集的门槛，加速了从示教到自主执行的闭环验证进程。

衍生相关工作

mydummy数据集催生了一系列围绕低迁移成本与高效数据利用的经典工作。例如，研究者基于该数据集开发了名为LeRobot-HIL的交互式模仿学习框架，通过引入人工修正机制来提升策略的鲁棒性；另有工作将其与扩散模型结合，提出了Robot-Diffusion策略，显著提升了长时序任务下的动作连贯性。此外，该数据集还启发了针对多视角视觉一致性的对比学习预训练方法，如ViewRob，旨在从不同摄像头角度提取共享表示，减少对特定视角的依赖。这些衍生研究共同推动了机器人学习从封闭实验室环境向开放动态场景的演进。