pvrohin/sample_dataset

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "ur5e_aic",
"total_episodes": 0,
"total_frames": 0,
"total_tasks": 0,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"linear.x",
"linear.y",
"linear.z",
"angular.x",
"angular.y",
"angular.z"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"tcp_pose.position.x",
"tcp_pose.position.y",
"tcp_pose.position.z",
"tcp_pose.orientation.x",
"tcp_pose.orientation.y",
"tcp_pose.orientation.z",
"tcp_pose.orientation.w",
"tcp_velocity.linear.x",
"tcp_velocity.linear.y",
"tcp_velocity.linear.z",
"tcp_velocity.angular.x",
"tcp_velocity.angular.y",
"tcp_velocity.angular.z",
"tcp_error.x",
"tcp_error.y",
"tcp_error.z",
"tcp_error.rx",
"tcp_error.ry",
"tcp_error.rz",
"joint_positions.0",
"joint_positions.1",
"joint_positions.2",
"joint_positions.3",
"joint_positions.4",
"joint_positions.5",
"joint_positions.6"
],
"shape": [
26
]
},
"observation.images.left_camera": {
"dtype": "video",
"shape": [
256,
288,
3
],
"names": [
"height",
"width",
"channels"
]
},
"observation.images.center_camera": {
"dtype": "video",
"shape": [
256,
288,
3
],
"names": [
"height",
"width",
"channels"
]
},
"observation.images.right_camera": {
"dtype": "video",
"shape": [
256,
288,
3
],
"names": [
"height",
"width",
"channels"
]
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据集的构建往往依赖于实际物理系统的交互记录。本数据集借助LeRobot平台，通过UR5e机械臂与环境的交互过程进行采集。数据以分块形式存储于Parquet文件中，每块包含1000个数据帧，确保了高效的数据管理与读取。采集过程中，机械臂的关节动作、末端执行器位姿、速度及误差等状态信息被同步记录，同时三台相机以30帧每秒的速率捕获视觉观测，形成了多模态的时序数据流。这种基于真实机器人操作的数据采集方式，为模仿学习与强化学习算法提供了丰富的训练素材。

特点

该数据集的特点在于其多维度的观测空间与精细的动作表示。观测部分不仅包含26维的机械臂状态向量，涵盖末端执行器的位置、姿态、速度及误差，还集成了来自左、中、右三台相机的视觉信息，每帧图像分辨率为256x288，提供了丰富的环境上下文。动作空间由6个关节角度构成，精确对应UR5e机械臂的控制维度。数据以时序帧组织，附带时间戳、帧索引与任务索引，支持长序列任务的分析。这种结构化的多模态设计，使得数据集能够同时服务于基于状态与基于视觉的机器人策略学习。

使用方法

使用本数据集时，研究人员可通过HuggingFace平台直接加载Parquet格式的数据文件。数据集已预先分割为块，便于流式读取与批量处理。典型的应用流程包括：首先解析特征字典，提取状态观测、图像序列及对应动作；随后利用时间戳与帧索引重建任务轨迹。对于视觉模态，图像以视频格式存储，需配合适当的解码库进行处理。该数据集适用于训练端到端的机器人控制模型，如行为克隆或离线强化学习，也可用于多视角视觉表征学习的预训练。在Apache 2.0许可下，使用者可自由修改与分发基于该数据集的衍生作品。

背景与挑战

背景概述

在机器人学习领域，高质量、大规模的真实世界交互数据对于推动模仿学习与强化学习算法的发展至关重要。sample_dataset依托LeRobot开源框架构建，专注于UR5e机械臂在多样化任务中的操作数据采集。该数据集整合了多视角视觉观测、关节状态与末端执行器位姿等异构模态信息，旨在为机器人策略学习提供丰富的仿真与真实环境迁移研究基础。其结构化存储格式与标准化数据模式，体现了当前机器人学习社区对可复现性与模块化数据管理的共同追求，为后续算法验证与系统集成奠定了重要基石。

当前挑战

该数据集致力于解决机器人操作任务中的策略学习与多模态感知融合问题，其核心挑战在于如何从高维视觉与状态数据中提取鲁棒特征以泛化至未见任务场景。构建过程中面临多传感器时序对齐、大规模视频数据存储效率以及真实环境动态扰动引入的标注噪声等难题。此外，异构数据源的同步采集与标准化处理流程，亦对数据集的完整性与一致性提出了严峻考验，这些因素共同制约着数据驱动机器人学习方法的实际部署效果。

常用场景

经典使用场景

在机器人学领域，sample_dataset以其丰富的多模态数据为机器人模仿学习提供了经典范例。该数据集整合了UR5e机械臂的关节动作、末端执行器位姿状态以及多视角视觉图像，使得研究人员能够构建端到端的策略模型，模拟人类示教行为。通过高频率的时序帧记录，它支持从原始传感器输入到控制指令的映射学习，为机器人自主执行抓取、放置等精细操作奠定了数据基础。

衍生相关工作

围绕sample_dataset，已衍生出一系列机器人学习领域的创新研究。例如，基于其多视角图像序列的工作探索了视觉-动作的联合嵌入方法；利用时序状态数据的模型则推进了离线强化学习算法的验证。这些经典工作不仅拓展了数据集的利用维度，也为后续开源机器人基准平台的构建提供了关键参考。

数据集最近研究

最新研究方向

在机器人学习领域，sample_dataset作为基于LeRobot框架构建的多模态数据集，正推动着机器人操作技能的前沿探索。该数据集整合了UR5e机械臂的关节控制动作、高维状态观测以及多视角视觉流，为模仿学习与强化学习算法提供了丰富的训练素材。当前研究热点聚焦于如何利用此类结构化数据训练端到端的视觉运动策略，使机器人能够从人类示范中泛化出复杂的抓取与装配能力。随着具身智能概念的兴起，该数据集在促进机器人理解物理交互、实现精细操作任务方面展现出重要价值，为构建通用机器人智能体奠定了数据基础。