sim_dataset

该数据集是由LeRobot创建的，包含11个剧集，共365帧，1个任务。数据以Parquet文件格式存储，视频文件为MP4格式，编码为av1，帧率为10fps。数据集分为训练集，没有提及测试集。数据集包含的动作特征为浮点型，包括delta_x, delta_y, delta_z, gripper。还包括奖励、是否完成、惩罚等补充信息，以及前视图和手腕视图的图像。

This dataset was developed by LeRobot, containing 11 episodes with a total of 365 frames and targeting one single task. The data is stored in Parquet file format, while the video files are in MP4 format, encoded with the AV1 codec and set to a frame rate of 10 fps. The dataset is split into training subsets, with no test set specified. The action features included in the dataset are of floating-point type, covering delta_x, delta_y, delta_z, and gripper. Additionally, it provides supplementary information such as rewards, completion status, penalties, as well as images captured from the front view and wrist-mounted view.

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 代码库版本: v3.0

数据集规模

• 总情节数: 11
• 总帧数: 365
• 总任务数: 1
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 10 FPS

数据结构

• 数据格式: Parquet文件
• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 分块大小: 1000
• 训练集分割: 0:11

特征描述

动作特征

• 名称: action
• 数据类型: float32
• 形状: [4]
• 维度说明:
  • delta_x: 0
  • delta_y: 1
  • delta_z: 2
  • gripper: 3

观察特征

• 状态观察:

  • 名称: observation.state
  • 数据类型: float32
  • 形状: [18]

• 图像观察:

  • 前视图像: observation.images.front
  • 腕部图像: observation.images.wrist
  • 数据类型: video
  • 形状: [3, 128, 128]
  • 分辨率: 128×128
  • 通道数: 3
  • 视频编码: av1
  • 像素格式: yuv420p
  • 非深度图

元数据特征

• 时间戳: timestamp (float32, [1])
• 帧索引: frame_index (int64, [1])
• 情节索引: episode_index (int64, [1])
• 任务索引: task_index (int64, [1])
• 索引: index (int64, [1])

奖励与终止

• 奖励: next.reward (float32, [1])
• 终止标志: next.done (bool, [1])
• 离散惩罚: complementary_info.discrete_penalty (float32, [1])

搜集汇总

数据集介绍

构建方式

在机器人技术领域，sim_dataset依托LeRobot框架构建，采用高效的数据采集策略。该数据集通过模拟环境记录机器人操作过程，涵盖11个完整情节和365帧数据，以10帧每秒的频率采集。数据以分块方式存储于Parquet格式文件中，每块容量设定为1000条记录，总数据量达100MB，同时配套500MB的视频文件，确保数据的完整性和可追溯性。

使用方法

该数据集适用于机器人行为克隆与强化学习研究，用户可通过加载Parquet文件直接访问结构化数据。视频数据可通过指定路径解码，配合帧索引实现多模态对齐。训练集覆盖全部11个情节，研究者可提取动作-观测对进行策略训练，利用离散惩罚信号优化模型行为，其标准化格式确保与主流机器学习框架的兼容性。

背景与挑战

背景概述

在机器人技术领域，仿真数据集对于强化学习算法的训练与验证具有关键意义。sim_dataset作为基于LeRobot平台构建的机器人操作数据集，其结构设计体现了现代机器人学习任务中对多模态感知与连续控制的需求。该数据集通过集成前视与腕部视觉观测、机器人状态信息及动作指令，构建了包含11个完整交互序列的仿真环境，旨在推动机器人从视觉输入到动作输出的端到端学习研究。

当前挑战

该数据集致力于解决机器人操作任务中视觉-动作映射的泛化性难题，其核心挑战在于如何从有限的动作维度（如三维位移与夹爪控制）中学习复杂操作策略。构建过程中面临多源数据对齐的复杂性，需同步处理高帧率视频流与低维状态数据；同时仿真环境与真实物理世界的差异导致动作迁移效率受限，而稀疏奖励信号进一步加剧了策略优化的难度。

常用场景

经典使用场景

在机器人学习领域，sim_dataset作为仿真环境数据集，其经典应用场景聚焦于机器人操作任务的离线强化学习研究。该数据集通过记录机械臂在三维空间中的运动轨迹与视觉观察数据，为算法开发提供了丰富的交互经验。研究人员能够利用其包含的多模态观测信息，包括前视与腕部摄像头视频流及机器人状态向量，系统性地训练策略模型以完成抓取、放置等精细操作任务。

解决学术问题

该数据集有效解决了机器人模仿学习中的样本效率瓶颈问题，通过提供结构化标注的演示数据，显著降低了真实机器人实验的高成本与安全风险。其包含的奖励信号与终止标志为价值函数估计提供了监督信息，而离散惩罚机制则助力于约束强化学习算法的探索行为。这种数据范式推动了从仿真到实物的知识迁移研究，为具身智能的样本高效学习奠定了实证基础。

实际应用

在工业自动化场景中，该数据集支撑了智能抓取系统的快速部署。基于其轨迹数据训练的模型可直接应用于物流分拣、精密装配等实际任务，通过迁移学习策略将仿真策略适配至真实机器人工作站。数据集提供的多视角视觉流使模型具备空间关系推理能力，其标准化数据格式更促进了跨平台算法验证，成为连接仿真训练与物理执行的关键桥梁。

数据集最近研究

最新研究方向

在机器人学习领域，sim_dataset凭借其多模态观测数据与强化学习框架的深度融合，正推动端到端策略学习的前沿探索。当前研究聚焦于视觉-动作映射的跨模态表征学习，通过融合前端与腕部双视角视频流与18维状态向量，构建具身智能的环境交互模型。随着LeRobot开源生态的持续演进，该数据集在仿真到现实迁移、多任务泛化等热点议题中展现出潜力，其紧凑的128×128像素视觉编码与10Hz时序特性，为样本效率优化与实时决策研究提供了关键基准。