marcossantosperesvw/trossen-handover-pink-basket2

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
- tutorial
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v2.1",
"trossen_subversion": "v1.0",
"robot_type": "trossen_ai_stationary",
"total_episodes": 30,
"total_frames": 22219,
"total_tasks": 1,
"total_videos": 120,
"total_chunks": 1,
"chunks_size": 1000,
"fps": 30,
"splits": {
"train": "0:30"
},
"data_path": "data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet",
"video_path": "videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4",
"features": {
"action": {
"dtype": "float32",
"shape": [
14
],
"names": [
"left_joint_0",
"left_joint_1",
"left_joint_2",
"left_joint_3",
"left_joint_4",
"left_joint_5",
"left_joint_6",
"right_joint_0",
"right_joint_1",
"right_joint_2",
"right_joint_3",
"right_joint_4",
"right_joint_5",
"right_joint_6"
]
},
"observation.state": {
"dtype": "float32",
"shape": [
14
],
"names": [
"left_joint_0",
"left_joint_1",
"left_joint_2",
"left_joint_3",
"left_joint_4",
"left_joint_5",
"left_joint_6",
"right_joint_0",
"right_joint_1",
"right_joint_2",
"right_joint_3",
"right_joint_4",
"right_joint_5",
"right_joint_6"
]
},
"observation.images.cam_high": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.fps": 30.0,
"video.height": 480,
"video.width": 640,
"video.channels": 3,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
}
},
"observation.images.cam_low": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.fps": 30.0,
"video.height": 480,
"video.width": 640,
"video.channels": 3,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
}
},
"observation.images.cam_left_wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.fps": 30.0,
"video.height": 480,
"video.width": 640,
"video.channels": 3,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
}
},
"observation.images.cam_right_wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.fps": 30.0,
"video.height": 480,
"video.width": 640,
"video.channels": 3,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量的数据集对于推动模仿学习与强化学习算法的进步至关重要。trossen-handover-pink-basket2数据集依托LeRobot平台构建，通过Trossen AI Stationary机器人系统采集了30个完整交互片段，总计包含22,219帧数据。该数据集以Parquet格式存储，每个数据块容纳1000帧，并以30fps的帧率同步记录了多视角视觉信息与14维关节状态，确保了时序动作与观测数据的高度对齐。

使用方法

研究者可利用该数据集进行机器人技能学习的端到端训练与评估。数据以标准化的Parquet文件组织，通过episode_index和frame_index可便捷索引特定交互序列的每一时刻。典型的应用流程包括加载指定数据块，解析其中的观测图像与关节状态作为模型输入，并以对应的14维动作向量作为监督信号，进而训练策略网络或进行行为克隆算法的性能验证。

背景与挑战

背景概述

在机器人学领域，模仿学习与强化学习的研究依赖于高质量、结构化的真实世界交互数据。trossen-handover-pink-basket2数据集由HuggingFace的LeRobot项目团队创建，旨在为双臂机器人交接任务提供详尽的示范数据。该数据集聚焦于机器人操作中的精细物体传递问题，通过记录Trossen AI Stationary机器人在执行粉色篮子交接任务时的多视角视觉观测、关节状态及动作指令，为算法开发与模型训练奠定了数据基础。其构建体现了开源社区推动机器人学习民主化的努力，通过标准化数据格式促进跨研究机构的协作与复现。

当前挑战

该数据集致力于解决机器人操作中动态物体交接的复杂挑战，涉及高维连续动作空间下的精确轨迹规划与多模态感知融合。构建过程中，数据采集需协调多摄像头同步录制与机器人状态记录，确保时序对齐与数据一致性；同时，真实环境中的光照变化、物体姿态不确定性以及机械臂控制噪声增加了数据质量的维护难度。此外，数据集规模相对有限，涵盖的任务变体较少，可能制约了模型在泛化性与鲁棒性方面的进一步提升。

常用场景

经典使用场景

在机器人学习领域，trossen-handover-pink-basket2数据集以其丰富的多视角视觉与关节状态数据，为双臂机器人抓取与递送任务提供了经典范例。该数据集记录了机器人执行物体传递操作的全过程，涵盖高、低视角及左右腕部摄像头捕捉的连续图像序列，配合精确的关节动作与状态信息，成为训练模仿学习与强化学习模型的理想资源。研究者可借此模拟真实环境中的动态交互，优化机器人的运动规划与控制策略，推动灵巧操作技术的演进。

解决学术问题

该数据集有效应对了机器人学中模仿学习与行为克隆的数据稀缺挑战，通过提供结构化、多模态的演示记录，助力解决动作表示学习、状态估计以及跨视角感知融合等核心学术问题。其细致的时序对齐与高维度观测数据，使得模型能够从人类示范中提取可泛化的策略，降低对仿真环境的依赖，促进实体机器人技能迁移研究的深入，为具身智能的发展奠定了实证基础。

实际应用

在实际场景中，trossen-handover-pink-basket2数据集可直接应用于物流分拣、仓储自动化及辅助服务机器人的开发。基于该数据集训练的模型能够赋能双臂机器人完成精细的物品抓取、平稳传递及放置任务，提升生产线上的协作效率与安全性。同时，其多摄像头配置为视觉伺服控制提供了真实世界的反馈数据，有助于机器人适应复杂光照与遮挡环境，推动工业自动化向更柔性、智能的方向转型。

数据集最近研究

最新研究方向

在机器人操作领域，trossen-handover-pink-basket2数据集作为LeRobot项目的一部分，聚焦于双臂机器人交接任务的数据收集。该数据集通过多视角视觉观测与关节动作记录，为机器人模仿学习与强化学习算法提供了丰富的训练资源。当前研究前沿正探索如何利用此类多模态数据提升机器人在复杂环境下的泛化能力，特别是结合视觉-动作对齐模型，以应对动态物体交接中的不确定性。随着开源机器人社区的活跃，该数据集与类似资源共同推动了端到端机器人控制方法的进展，促进了家庭服务与工业自动化中灵巧操作任务的算法创新。