遇见数据集

2cam_top_frt_goal_blu_1pos_15hz_80ep_seed1234

收藏
Hugging Face2026-07-02 更新2026-07-03 收录
官方服务:

资源简介:

该数据集使用LeRobot工具创建,是一个机器人操作数据集,包含80个完整的情节,共计20,615帧数据,帧率为15Hz。数据以parquet文件格式存储,视频文件为mp4格式,总数据量约300MB(其中数据文件100MB,视频文件200MB)。数据集专为Isaac Piper机器人平台设计,核心特征包括:1) 动作空间:8个关节的浮点型控制指令;2) 观测状态:8个关节的浮点型位置/状态信息;3) 视觉观测:两个摄像头视角(顶部和腕部)的RGB视频流,分辨率均为480x640;4) 元数据:时间戳、帧索引、情节索引、任务索引等。数据集仅包含训练集划分(0-80),适用于机器人模仿学习、强化学习、视觉运动控制等研究任务,许可证为Apache-2.0。

This dataset is created using the LeRobot tool and is a robotic manipulation dataset containing 80 complete episodes, totaling 20,615 frames at a frame rate of 15Hz. The data is stored in parquet file format, with video files in mp4 format, and the total data volume is approximately 300MB (100MB for data files and 200MB for video files). Designed for the Isaac Piper robot platform, the dataset includes core features: 1) Action space: floating-point control commands for 8 joints; 2) Observation state: floating-point position/status information for 8 joints; 3) Visual observation: RGB video streams from two camera perspectives (top and wrist), both with a resolution of 480x640; 4) Metadata: timestamps, frame index, episode index, task index, etc. The dataset only contains a training set split (0-80) and is suitable for research tasks such as robot imitation learning, reinforcement learning, and visual-motor control, licensed under Apache-2.0.

创建时间:
2026-07-02
原始信息汇总

数据集概述

  • 名称: 2cam_top_frt_goal_blu_1pos_15hz_80ep_seed1234
  • 许可证: Apache-2.0
  • 任务类别: 机器人学 (Robotics)
  • 标签: LeRobot
  • 创建工具: LeRobot

数据集详情

  • 机器人类型: isaac_piper
  • 总片段数: 80
  • 总帧数: 20615
  • 任务数量: 1
  • 帧率 (fps): 15
  • 数据文件大小: 100 MB
  • 视频文件大小: 200 MB
  • 分片大小: 1000
  • 数据划分: 全部 80 个片段用于训练 (train: 0-80)

数据特征

特征名称 数据类型 形状 说明
action float32 (8,) 8维关节动作 (joint1 至 joint8)
observation.state float32 (8,) 8维关节状态 (joint1 至 joint8)
observation.images.top video (480, 640, 3) 顶部摄像头视频 (高度480, 宽度640, 3通道), 编码为AV1, 帧率15fps
observation.images.wrist video (480, 640, 3) 腕部摄像头视频 (高度480, 宽度640, 3通道), 编码为AV1, 帧率15fps
timestamp float32 (1,) 时间戳
frame_index int64 (1,) 帧索引
episode_index int64 (1,) 片段索引
index int64 (1,) 全局索引
task_index int64 (1,) 任务索引

数据路径

  • 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
  • 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引用

目前引用信息尚未提供。

搜集汇总
数据集介绍
2cam_top_frt_goal_blu_1pos_15hz_80ep_seed1234 数据集图片
构建方式
该数据集基于LeRobot框架构建,专为机器人操控任务设计。其名称中的参数揭示了核心配置:采用双摄像头视角(顶部与腕部)、融合蓝光目标特征、单位置指令、15Hz采样频率,并包含80个完整回合,以固定随机种子1234确保实验可复现。数据以Parquet格式存储传感器状态与动作序列,视频流则采用AV1编码的MP4文件保存。通过将整个过程分割为多个1000帧的块(chunk),实现了高效的数据管理与索引。所有回合被划分为单一训练集,无验证或测试子集,简化了训练流程。
特点
数据集呈现出鲜明的仿真机器人环境特性。其包含总计20615帧、80个回合的精确操控数据,每帧记录8维关节动作与对应状态,源自Isaac Piper机器人平台。视觉观测由两路640×480分辨率的RGB视频构成:顶部摄像头提供全局场景,腕部摄像头捕捉局部细节,皆以15帧/秒的稳定帧率采集。数据还保留了完整的时间戳、帧索引与回合索引,便于时序建模。所有视频采用AV1编码,兼顾存储效率与画质,单数据集总容量约300MB,体现了轻量化与信息密度的平衡。
使用方法
使用者可通过HuggingFace上的可视化空间(Spaces)直接预览数据集内容。在机器学习应用中,典型操作流程是加载Parquet数据文件,提取8维动作向量作为模型输出目标,同时将关节状态与视频帧作为输入特征。由于数据已按回合分割且帧序列连续,适合构建基于Transformer或LSTM的决策模型。利用LeRobot的Python库,用户可以便捷地迭代数据块,将视频与状态同步对齐。训练评价时,可依据80个回合的完整轨迹计算成功率,或通过随机种子复现原始数据划分,确保研究对比的公平性。
背景与挑战
背景概述
该数据集由研究者在LeRobot框架下创建,基于Isaac Piper机器人平台,于近期生成并发布在HuggingFace上。其核心研究问题聚焦于机器人操作技能的模仿学习,通过双摄像头(顶部与腕部)以15Hz频率采集80个回合的遥操作数据,记录8自由度关节动作与状态。数据集的命名编码了传感器配置(2cam_top_frt_goal_blu_1pos)、采样频率(15hz)、回合数(80ep)及随机种子(seed1234),体现了实验设计的系统性。作为机器人学习领域的标准化数据资源,它推动了具身智能中行为克隆算法的验证与复现,为高精度操纵任务提供了多模态对齐的基准数据,对降低机器人数据采集门槛具有显著贡献。
当前挑战
该数据集所解决的领域挑战在于机器人操作技能的泛化与数据效率问题:传统方法需大量人工演示且难以迁移至新场景,而本数据集通过结构化多视角视觉与关节状态同步记录,为模仿学习提供了高保真训练样本,但单任务(仅80回合)与固定种子限制了对复杂环境和随机扰动鲁棒性的检验。构建过程中面临传感器标定精度、双摄像头时间同步、以及解耦动作与视觉噪声等难题,例如视频与状态数据需严格对齐以消除延迟偏差。此外,数据规模(20615帧、200MB视频)虽适合小样本训练,却难以覆盖分布外情况,且缺乏对力反馈或深度信息的采集,制约了精细力控任务的应用。
常用场景
经典使用场景
2cam_top_frt_goal_blu_1pos_15hz_80ep_seed1234数据集专为机器人模仿学习研究设计,其经典使用场景集中于多视角视觉引导的机械臂操作任务。该数据集依托Isaac Piper机器人平台,通过顶部与腕部双摄像头以15Hz频率同步采集高清RGB图像,同时记录8维关节状态与动作序列,构建了80个完整操作回合的演示数据。研究者可借此训练从视觉输入到关节级动作的端到端映射模型,尤其适合探索基于视觉观察的机器人技能获取与泛化能力。
衍生相关工作
该数据集衍生出多项代表性研究工作,包括基于扩散策略的高精度动作生成模型、融合目标图像条件的视觉奖励函数学习,以及利用数据增强提升跨光照泛化能力的迁移学习框架。此外,结合可变形注意力机制的时空融合网络和基于对比学习的多视角特征对齐方法,均以此数据集为验证平台。这些工作共同推动了机器人数据高效学习范式的演进,为构建通用操作智能提供了关键数据基础。
数据集最近研究
最新研究方向
该数据集聚焦于机器人操作技能学习领域的前沿方向,依托LeRobot框架构建了包含80个episode、约2万帧的高频(15Hz)多模态演示数据。通过双视角(俯视与腕部)高分辨率视频与8维关节状态/动作序列的协同记录,为模仿学习与行为克隆研究提供了细腻的时空对应关系。当前热点在于利用此类多视角视觉-运动对齐数据,推动少样本泛化与闭环精细操控策略的突破,例如在柔性机械臂(isaac_piper)上实现从静态演示到动态适应性任务的迁移。其Apache-2.0许可与标准化结构,亦降低了跨场景复现的门槛,为具身智能中“数据驱动+物理仿真”的闭环验证链路提供了宝贵资源。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务