crislmfroes/xarm6-sim-v4

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=crislmfroes/xarm6-sim-v4"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "xarm6", "total_episodes": 300, "total_frames": 66708, "total_tasks": 6, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:300" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "observation.images.wrist": { "dtype": "video", "shape": [ 256, 256, 3 ], "names": [ "height", "width", "channel" ], "video_info": { "video.fps": 30.0, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "has_audio": false }, "info": { "video.height": 256, "video.width": 256, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.top": { "dtype": "video", "shape": [ 256, 256, 3 ], "names": [ "height", "width", "channel" ], "video_info": { "video.fps": 30.0, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "has_audio": false }, "info": { "video.height": 256, "video.width": 256, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.state": { "dtype": "float32", "shape": [ 8 ], "names": [ "px", "py", "pz", "qw", "qx", "qy", "qz", "gripper" ] }, "action": { "dtype": "float32", "shape": [ 7 ], "names": [ "x", "y", "z", "roll", "pitch", "yaw", "gripper" ] }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```license: apache-2.0 task_categories: - 机器人学 tags: - LeRobot configs: - 配置名称：默认配置 数据文件：data/*/*.parquet --- 本数据集基于[LeRobot](https://github.com/huggingface/lerobot)工具链构建。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=crislmfroes/xarm6-sim-v4"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集说明 - **项目主页：** [需补充更多信息] - **相关论文：** [需补充更多信息] - **许可证：** Apache-2.0 ## 数据集结构 `[meta/info.json]`: json { "代码库版本": "v3.0", "机器人型号": "xarm6", "总轨迹数": 300, "总帧数": 66708, "总任务数": 6, "分块大小": 1000, "数据文件总大小（MB）": 100, "视频文件总大小（MB）": 200, "帧率": 30, "数据集划分": { "训练集": "0:300" }, "数据文件路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频文件路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "数据特征": { "观测数据.腕部图像": { "数据类型": "视频", "形状": [ 256, 256, 3 ], "维度名称": [ "高度", "宽度", "通道数" ], "视频信息": { "视频帧率": 30.0, "视频编码格式": "h264", "视频像素格式": "yuv420p", "是否为深度图": false, "是否包含音频": false }, "详细信息": { "视频高度": 256, "视频宽度": 256, "视频编码格式": "av1", "视频像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否包含音频": false } }, "观测数据.顶部图像": { "数据类型": "视频", "形状": [ 256, 256, 3 ], "维度名称": [ "高度", "宽度", "通道数" ], "视频信息": { "视频帧率": 30.0, "视频编码格式": "h264", "视频像素格式": "yuv420p", "是否为深度图": false, "是否包含音频": false }, "详细信息": { "视频高度": 256, "视频宽度": 256, "视频编码格式": "av1", "视频像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否包含音频": false } }, "观测数据.机械臂状态": { "数据类型": "float32", "形状": [ 8 ], "维度名称": [ "位置x", "位置y", "位置z", "四元数w", "四元数x", "四元数y", "四元数z", "夹爪开度" ] }, "动作数据": { "数据类型": "float32", "形状": [ 7 ], "维度名称": [ "平移x", "平移y", "平移z", "滚转角", "俯仰角", "偏航角", "夹爪开度" ] }, "轨迹索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null }, "帧索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null }, "全局索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null }, "任务索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null }, "时间戳": { "数据类型": "float32", "形状": [ 1 ], "维度名称": null } } } ## 引用 **BibTeX格式引用：** bibtex [需补充更多信息]

搜集汇总

数据集介绍

构建方式

在机器人仿真领域，数据集的构建往往依赖于高保真的模拟环境。xarm6-sim-v4数据集通过LeRobot平台，在仿真环境中系统采集了xArm6机械臂的操作数据。该数据集包含300个完整的情节，总计66708帧，以30帧每秒的速率记录。数据以分块形式存储为Parquet文件，每块约1000帧，确保了高效的数据管理与读取。仿真过程涵盖了6种不同的任务，通过顶层与腕部摄像头同步捕获256x256分辨率的RGB视频流，同时精确记录机械臂的状态与动作向量，为机器人学习提供了结构化的时序数据。

特点

该数据集在机器人操作学习领域展现出多模态与高维度的特性。其核心特征在于融合了视觉观测与状态动作对，提供了顶层与腕部双视角的同步视频流，每帧图像均以256x256分辨率呈现。状态观测包含8维向量，涵盖末端执行器的位置、四元数朝向及夹爪状态；动作空间则为7维，对应机械臂的位姿与夹爪控制。数据集以30Hz的帧率保证了时序连续性，并通过分块存储优化了大规模数据的访问效率。这种设计使得数据集适用于模仿学习、强化学习及视觉运动策略训练等多种算法验证。

使用方法

为有效利用该数据集，研究者可借助LeRobot提供的工具链进行数据加载与可视化。数据集以Parquet格式组织，可通过标准数据管道读取，并利用附带的元数据信息解析视频流与状态序列。在模型训练中，用户可提取观测图像与对应动作作为训练样本，或基于完整情节进行序列建模。数据集已预分为训练集，涵盖全部300个情节，适用于端到端策略学习或行为克隆等任务。通过集成HuggingFace的交互式可视化空间，用户能够直观浏览数据内容，加速算法开发与实验迭代。

背景与挑战

背景概述

在机器人学习领域，仿真环境为算法训练提供了安全且可扩展的平台。xarm6-sim-v4数据集由HuggingFace的LeRobot项目创建，专注于模拟六自由度机械臂xArm6的操作任务。该数据集旨在通过提供丰富的多模态交互数据，支持机器人策略学习与模仿学习的研究。其核心研究问题在于如何利用仿真数据提升真实世界机器人操作的泛化能力与效率，对推动机器人自主决策与控制技术的发展具有潜在影响力。

当前挑战

xarm6-sim-v4数据集所解决的领域问题涉及机器人操作任务的策略学习，其挑战在于如何从仿真数据中提取可迁移至真实环境的鲁棒特征，以克服仿真与现实之间的域差距。构建过程中的挑战包括多模态数据的高效同步与存储，例如整合来自腕部和顶部摄像头的视频流与机械臂状态信息，并确保数据格式的一致性与可扩展性，以支持大规模机器学习模型的训练需求。

常用场景

经典使用场景

在机器人仿真与控制领域，xarm6-sim-v4数据集为研究者提供了一个标准化的仿真环境，用于训练和评估机械臂的视觉-动作策略。该数据集通过模拟xArm6机械臂在多种任务中的操作，记录了丰富的多视角图像、状态信息及动作序列，为端到端强化学习与模仿学习算法提供了高质量的离线训练数据。其结构化的数据格式与视频流支持，使得算法能够高效地学习从视觉输入到动作输出的映射关系，推动了仿真到现实迁移研究的发展。

解决学术问题

该数据集有效解决了机器人学中仿真数据稀缺与标准化不足的学术挑战，为视觉伺服、动作规划及策略泛化等研究提供了基准测试平台。通过提供精确的机械臂状态与动作配对数据，它支持了离线强化学习、行为克隆等方法的验证与比较，降低了真实机器人实验的成本与风险。其多任务设计促进了跨任务迁移学习的研究，有助于探索机器人智能的通用性与适应性，对推动自主机器人系统的发展具有重要理论意义。

衍生相关工作

围绕该数据集，衍生了一系列经典研究工作，包括基于深度强化学习的机械臂视觉控制算法、多模态融合策略以及仿真到现实的迁移方法。这些工作利用数据集的丰富特征，探索了高效策略学习、样本效率提升及领域自适应等前沿方向。部分研究进一步扩展了数据集的适用范围，结合生成模型或元学习技术，推动了机器人学习范式的创新，为后续大规模机器人数据集的构建与应用奠定了方法论基础。