crislmfroes/xarm6-pick-mustard-bottle-sim-pose-cond-pose-randomized-v4

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=crislmfroes/xarm6-pick-mustard-bottle-sim-pose-cond-pose-randomized-v4">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "xarm6",
"total_episodes": 50,
"total_frames": 7621,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:50"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"observation.images.wrist": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 30.0,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.top": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 30.0,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.state": {
"dtype": "float32",
"shape": [
15
],
"names": [
"px",
"py",
"pz",
"qw",
"qx",
"qy",
"qz",
"gripper",
"obj_px",
"obj_py",
"obj_pz",
"obj_qw",
"obj_qx",
"obj_qy",
"obj_qz"
]
},
"action": {
"dtype": "float32",
"shape": [
7
],
"names": [
"x",
"y",
"z",
"roll",
"pitch",
"yaw",
"gripper"
]
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作任务领域，仿真环境为算法验证提供了安全且高效的平台。该数据集依托LeRobot框架，在模拟环境中通过xArm6机械臂执行拾取芥末瓶任务生成。数据采集过程涵盖50个完整交互序列，总计7621帧，以30帧每秒的频率记录。观测数据包含顶部与腕部双视角的256×256像素RGB视频流，同时精确捕捉机械臂末端执行器的15维状态向量及目标物体的位姿信息。动作空间则定义为7维连续控制指令，涵盖位置、姿态与夹持器状态。数据以分块存储的Parquet格式组织，每块约1000帧，确保了高效的数据读取与处理流程。

特点

该数据集在机器人视觉运动控制领域展现出鲜明的技术特色。其多模态数据融合机制将双视角视觉观测与精确的关节状态信息相结合，为模仿学习与强化学习算法提供了丰富的感知输入。数据结构的精心设计体现在分层特征组织上，从原始像素到抽象状态向量均保持时空对齐。特别值得注意的是，数据集引入了目标物体位姿的显式标注，这为基于模型的预测控制算法创造了条件。30Hz的同步采集频率完整保留了动态交互细节，而随机化的初始条件则增强了数据的多样性与泛化潜力。这种高维度、高精度的数据表征方式，为复杂操作任务的端到端学习奠定了坚实基础。

使用方法

研究者可利用该数据集推进机器人操作技能的智能学习进程。通过LeRobot提供的标准化数据加载接口，用户能够便捷地访问分块存储的观测-动作对序列。典型应用场景包括训练视觉运动策略网络，其中双视角图像输入经过卷积编码后与状态向量融合，进而预测7维控制指令。数据集的时间连续性支持序列建模方法，如循环神经网络或时空变换器的应用。验证阶段可通过在仿真环境中部署学习到的策略，评估其拾取任务的成功率与鲁棒性。数据集的模块化结构还便于进行迁移学习实验，例如将预训练视觉特征适配到新的操作场景。这种即用型数据资源显著降低了机器人学习算法的开发门槛，加速了从仿真到实物的技术迁移。

背景与挑战

背景概述

在机器人操作领域，模拟环境下的数据采集对于推动机器人学习算法的进步至关重要。数据集xarm6-pick-mustard-bottle-sim-pose-cond-pose-randomized-v4由LeRobot项目团队创建，专注于六轴机械臂在随机化条件下执行拾取任务的姿态控制问题。该数据集通过模拟环境生成，包含来自腕部和顶部摄像头的视觉观测、机器人状态及动作序列，旨在为机器人模仿学习与强化学习提供高质量的训练资源。其核心研究问题在于解决机器人操作中面对动态环境变化时的泛化能力，通过随机化初始条件增强模型的鲁棒性，对自动化抓取与操作任务的研究具有显著推动作用。

当前挑战

该数据集旨在解决机器人操作中的姿态条件抓取任务，其领域挑战在于如何使模型在模拟环境中学习到能够适应真实世界物理不确定性的策略。具体而言，任务涉及从多视角视觉输入中推断物体姿态并生成精确的抓取动作，这要求算法处理高维观测数据并应对传感器噪声与动力学模型误差。在构建过程中，挑战包括模拟环境与真实世界的域差距问题，需要通过随机化初始姿态和物体位置来增强数据多样性；同时，大规模数据采集涉及高效存储与处理多模态信息，如视频流与状态向量的同步对齐，以确保数据的一致性与可用性。

常用场景

经典使用场景

在机器人操作学习领域，该数据集为模拟环境下的机械臂抓取任务提供了丰富的视觉与状态数据。通过整合来自顶部和腕部摄像头的图像序列，以及精确的机器人状态和动作记录，它常被用于训练端到端的强化学习或模仿学习模型。研究者能够利用这些数据探索在随机化初始条件下，机械臂如何高效地完成对特定物体（如芥末瓶）的拾取操作，从而推动机器人自主操作能力的发展。

实际应用

在实际工业自动化与物流分拣场景中，该数据集可应用于训练机械臂执行精确的物体抓取任务。例如，在生产线或仓库环境中，机器人需要快速识别并拾取类似芥末瓶的小型物体，数据集提供的仿真经验能够加速实际部署前的算法验证与优化。通过降低对昂贵真实世界试验的依赖，它有助于提高操作效率、减少成本，并推动智能制造和机器人辅助服务等领域的创新应用。

衍生相关工作

基于该数据集，衍生了一系列经典研究工作，主要集中在机器人操作策略的仿真训练与迁移学习方面。例如，结合LeRobot框架，研究者开发了先进的模仿学习算法，以提升机械臂在随机化环境中的抓取成功率。这些工作进一步拓展了数据驱动的机器人控制方法，促进了开源机器人社区的发展，并为后续在更复杂任务（如多物体操作或动态交互）上的探索提供了宝贵的数据基础和技术参考。