eval_DT_drawingmm

该数据集是使用LeRobot框架创建的机器人演示数据集，专门用于so_follower类型机器人的学习任务。数据集包含8个完整的演示片段，共计4711帧数据，涵盖1个具体任务。数据以30fps的帧率采集，包含多模态观测信息：1）动作空间：6维浮点数组，控制机器人关节位置（包括肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）；2）状态观测：6维浮点数组，表示机器人当前关节位置状态；3）视觉观测：包含两个视角的RGB视频流（侧视视角和腕部视角），分辨率均为480x640，3通道颜色，采用av1编码；4）时序与索引信息：包括时间戳、帧索引、片段索引、数据索引和任务索引。数据集总大小为300MB（数据文件100MB，视频文件200MB），采用Apache 2.0许可证，数据存储格式为parquet文件，视频存储为mp4文件，适用于机器人模仿学习、强化学习、行为克隆等任务的研究与开发。

原始信息汇总

数据集概述

• 名称: eval_DT_drawingmm
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 标签: LeRobot
• 创建工具: 使用 LeRobot 创建
• 可视化: 可通过 可视化工具 查看

数据集规模与结构

• 数据版本: v3.0
• 机器人类型: so_follower
• 总片段数 (episodes): 8
• 总帧数 (frames): 4,711
• 总任务数 (tasks): 1
• 块大小 (chunks_size): 1,000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率 (FPS): 30

数据集划分

• 训练集 (train): 8 个片段 (episode 0 至 7)

数据文件结构

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet (Parquet 格式)
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4 (MP4 格式)

特征字段

字段名	数据类型	形状	说明
action	float32	(6,)	6 维动作：肩关节、肘关节、腕关节、夹爪位置
observation.state	float32	(6,)	6 维状态观察：关节位置（同动作维度）
observation.images.side	video	(480, 640, 3)	侧视摄像头视频，AV1 编码，30 FPS
observation.images.wrist	video	(480, 640, 3)	腕部摄像头视频，AV1 编码，30 FPS
timestamp	float32	(1,)	时间戳
frame_index	int64	(1,)	帧索引
episode_index	int64	(1,)	片段索引
index	int64	(1,)	全局索引
task_index	int64	(1,)	任务索引

引用信息

• 论文: 暂无
• 主页: 暂无
• BibTeX: 暂无

搜集汇总

数据集介绍

构建方式

eval_DT_drawingmm数据集依托于LeRobot框架构建，专为机器人模仿学习与策略评估设计。其数据采集自so_follower型机器人，通过遥操作或预设程序记录8个完整回合（episode）的交互过程，总计包含4711帧时间序列数据。每个回合以30帧/秒的速率同步捕获机器人关节状态、执行动作及多视角视觉信息——包括侧面与腕部摄像头采集的480×640分辨率视频流。原始数据以parquet格式存储于分块文件中，视频则经AV1编码压缩为mp4格式，整体数据规模约300MB。数据集按单任务设定，8个回合全部划归训练集，未显式划分验证/测试集，体现了其作为策略评估基准的定位。

特点

该数据集的核心特征在于提供高保真、多模态的机器人操作数据。每个时间步均包含6维关节空间的状态与动作向量（涵盖肩部、肘部、腕部及夹爪的位姿），以及两个视角的彩色图像，为视觉-运动联合策略的学习提供了丰富输入。数据的结构化元信息（如info.json）清晰定义了动作空间、传感器配置与视频编码参数，便于研究人员复现与对比实验。此外，数据集仅含单一任务，规避了多任务学习的干扰，从而能够更精准地衡量决策Transformer（DT）等模型在特定操作场景下的泛化与迁移能力。

使用方法

用户可通过LeRobot库提供的API便捷地加载与使用该数据集。推荐方法为先调用`lerobot.common.datasets.lerobot_dataset.LeobotDataset`类，指定数据集路径为`edmos7/eval_DT_drawingmm`，即可自动索引元数据并返回包含状态、动作与图像帧的可迭代对象。训练策略模型时，可从数据集中提取序列化的回合数据，配合PyTorch的DataLoader进行批量采样。可视化工具亦集成于Hugging Face Spaces中，点击README页面的“Visualize this dataset”按钮即可交互式观察各回合的机器人运动轨迹与传感器记录，辅助理解数据分布与质量。

背景与挑战

背景概述

在机器人操作领域，模仿学习作为实现复杂技能获取的关键范式，其性能高度依赖于高质量演示数据集的质量与多样性。eval_DT_drawingmm数据集由edmos7基于LeRobot框架构建，创建于当前阶段，专注于评估决策Transformer（Decision Transformer）在绘图任务中的泛化能力。该数据集采用so_follower机器人平台，记录6自由度关节角度（肩部、肘部、腕部及夹爪）的连续动作序列，并同步采集侧方与腕部两个视角的RGB视频（640×480分辨率，30fps）。核心研究问题聚焦于如何通过小样本的8个演示轨迹（总计4711帧）实现机器人在精细绘图作业中的策略学习与评估。该数据集以Apache-2.0许可开源，为机器人社区验证时序决策模型在具身智能任务中的有效性提供了标准化的测试基准，推动了模仿学习从仿真环境向真实机器人系统的迁移研究。

当前挑战

该数据集所解决的领域问题在于，机器人模仿学习通常需要大量人工演示以覆盖复杂任务的状态空间，而精细绘图任务对动作精度与时空连贯性要求严苛，现有数据集常因演示不足导致模型泛化能力薄弱。eval_DT_drawingmm通过仅含8条轨迹的极少量样本，专门挑战决策Transformer在高维连续动作空间中的零样本或小样本适应能力。构建过程中遭遇的挑战包括：如何在有限帧数内平衡动作分辨率与数据存储效率（采用AV1编码压缩视频至200MB），以及如何确保单任务（绘图）下机器人末端执行器轨迹的复现一致性，避免因传感器噪声或机械间隙导致的运动轨迹偏差。此外，多视角图像（侧方与腕部）的时空对齐与光照变化克服，进一步增加了数据采集与特征提取的复杂程度。

常用场景

经典使用场景

在机器人学习领域，eval_DT_drawingmm数据集专为模仿学习与行为克隆任务而设计。该数据集记录了SO-5协作臂执行精细绘图作业的完整轨迹，包含8个示教回合、共计4711帧高保真运动数据。通过多模态传感器融合——包括30帧每秒的640×480侧方与腕部视觉信息，以及六自由度关节状态序列——研究者得以构建从视觉输入到末端执行器动作的端到端映射关系。其标准化的parquet存储格式与LeRobot生态的无缝兼容，使得该数据集成为验证决策变换器（Decision Transformer）等序列建模方法在精密操作任务中泛化能力的理想基准。

衍生相关工作

基于该数据集，研究者已衍生出多项开创性工作：在算法层面，它启发了针对多模态决策Transformer的离散化动作表征改进方案，有效提升了长程绘图任务的序列一致性；在系统层面，结合扩散策略（Diffusion Policy）的条件生成框架，实现了从单条示教轨迹到多样化笔触风格的非参数化迁移。此外，该数据集还被扩展为跨任务增量学习基准——通过适配不同曲率半径的绘图模板，检验持续学习算法在避免灾难性遗忘前提下的技能复用效率。这些工作共同推动了机器人从固定程式动作向具有语义理解能力的适应性操作进化。

数据集最近研究

最新研究方向

在机器人学习领域，该数据集聚焦于通过模仿学习实现精细的绘图操作，这标志着决策变换器（Decision Transformer）在机器人控制中的前沿应用。随着具身智能的崛起，研究者致力于将强化学习与序列建模深度融合，而此数据集提供的肩、肘、腕等多关节动作轨迹与双视角视觉观测，为训练可泛化的决策模型奠定了坚实的数据基础。特别是它采用了LeRobot框架统一数据格式，推动了开源社区在机器人操作技能上的可复现研究，对于缩小仿真环境与真实世界之间的模拟到现实迁移鸿沟具有深远影响。