astribot_scene_replay_120eps
收藏资源简介：
该数据集包含在Isaac Sim 5.1中渲染的固定Astribot拾放重放轨迹，机器人动作序列固定，但场景和任务放置在不同episode中变化。数据集包括120个episodes，每个episode有1920帧，总帧数为230400，帧率为30 FPS，每个episode持续64秒，格式为LeRobot v3风格的本地数据集。机器人型号为Astribot S1，源重放文件为`p&p0430_episode_1.hdf5`。状态和动作数据从重放HDF5关节数组重建，视频源为离线Isaac Sim 5.1 RGB摄像头录制。提供三个RGB视频观察：`observation.images.head_rgbd`（1280 x 720分辨率）、`observation.images.left_wrist_rgbd`（640 x 360分辨率）和`observation.images.right_wrist_rgbd`（640 x 360分辨率），均以30 FPS录制。每个帧包含22维的Astribot关节向量状态和动作，以及其他元数据如时间戳和帧索引。数据集设计用于视觉策略调试、重放条件模仿学习实验以及验证Astribot操作任务的场景级视觉泛化。
This dataset contains fixed Astribot pick-and-place replay trajectories rendered in Isaac Sim 5.1-ready scenes. The robot action sequence is fixed, while the scene and task placements vary across episodes. It includes 120 episodes, each with 1920 frames, totaling 230,400 frames, at a frame rate of 30 FPS, with each episode lasting 64 seconds, formatted as a LeRobot v3-style local dataset. The robot is the Astribot S1 in Isaac Sim 5.1, with the source replay file being `p&p0430_episode_1.hdf5`. State and action data are reconstructed from replay HDF5 joint arrays, with video sourced from offline Isaac Sim 5.1 RGB camera recordings. The dataset provides three RGB video observations: `observation.images.head_rgbd` (1280 x 720, 30 FPS), `observation.images.left_wrist_rgbd` (640 x 360, 30 FPS), and `observation.images.right_wrist_rgbd` (640 x 360, 30 FPS). Each frame includes a 22-dimensional Astribot joint vector state and action, along with other metadata such as timestamps and frame indices. The dataset is intended for visual policy debugging, replay-conditioned imitation learning experiments, and validating scene-level visual generalization for Astribot manipulation tasks.
数据集概述
数据集名称：Astribot Scene Replay 120 Episodes
许可证：Apache-2.0
标签：LeRobot、机器人、Isaac Sim、Astribot、视觉随机化
任务类别：机器人学
数据集摘要
- 总片段数：120
- 每片段帧数：1920
- 总帧数：230400
- 帧率：30 FPS
- 每片段时长：64秒
- 格式：LeRobot v3 风格本地数据集
- 机器人：Isaac Sim 5.1 中的 Astribot S1
- 源回放：
p&p0430_episode_1.hdf5 - 状态/动作来源：从回放 HDF5 关节数组重建
- 视频来源：离线 Isaac Sim 5.1 RGB 相机录制
相机配置
数据集提供三个 RGB 视频观测：
| 观测名称 | 分辨率 | 帧率 |
|---|---|---|
observation.images.head_rgbd |
1280 x 720 | 30 FPS |
observation.images.left_wrist_rgbd |
640 x 360 | 30 FPS |
observation.images.right_wrist_rgbd |
640 x 360 | 30 FPS |
低维特征
每帧包含以下字段：
observation.state：22 维 Astribot 关节向量action：22 维 Astribot 指令向量timestampframe_indexepisode_indexindextask_index
22 维控制/状态顺序如下：
- 躯干关节 1-4
- 头部关节 1-2
- 左臂关节 1-7
- 左夹爪关节 L1
- 右臂关节 1-7
- 右夹爪关节 L1
重要说明
- 源运行仅收集视频输出，因此
observation.state和action数组均从原始回放 HDF5 重建。 observation.state来自joints_dict/joints_position_state，action来自joints_dict/joints_position_command。- 视频为回放运行中实际渲染的 Isaac Sim 输出。
- 指令序列使用源元数据中的回放时序：
- 回放速率：30 Hz
- 回放速度比例：0.2
- 相机帧率：30 FPS
- 夹爪提前量：0 秒
- 初始姿态：就绪姿态
目录结构
scene/ scene/ready/ meta/info.json meta/stats.json meta/tasks.parquet meta/episodes/chunk-000/file-000.parquet data/chunk-000/file-000.parquet videos/observation.images.head_rgbd/chunk-000/file-000.mp4 videos/observation.images.left_wrist_rgbd/chunk-000/file-000.mp4 videos/observation.images.right_wrist_rgbd/chunk-000/file-000.mp4
scene/文件夹包含原始 USD 场景文件。scene/ready/文件夹包含回放数据集收集流程使用的已处理 USDA 版本。
预期用途
该数据集旨在用于：
- 视觉策略调试
- 回放条件模仿学习实验
- 验证 Astribot 操作任务的场景级视觉泛化能力
使用 LeRobot 加载
数据集已通过 lerobot==0.4.4 烟雾测试。
python from lerobot.datasets.lerobot_dataset import LeRobotDataset
ds = LeRobotDataset( repo_id="HY-LiYihan/astribot_scene_replay_120eps", video_backend="pyav", )
item = ds[0] print(len(ds)) print(item["observation.images.head_rgbd"].shape) print(item["observation.state"].shape) print(item["action"].shape)
对于 TorchCodec 无法找到系统 FFmpeg 共享库的机器，推荐使用 video_backend="pyav"。
