karcy1304/dataset_3

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so101_follower",
"total_episodes": 302,
"total_frames": 134172,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 15,
"splits": {
"train": "0:302"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.front": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 15,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.side": {
"dtype": "video",
"shape": [
288,
352,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 288,
"video.width": 352,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 15,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.top": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 15,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人学领域，数据集的构建往往依赖于实际物理系统的交互记录。本数据集借助LeRobot平台，通过so101_follower型机器人执行单一任务，系统采集了302个完整交互片段，共计134172帧数据。数据以分块形式存储于Parquet文件中，每块包含1000帧，同时配有对应视角的视频文件，帧率为15fps，确保了时序信息的连贯性与完整性。

使用方法

研究人员可通过加载Parquet格式的数据文件，直接访问结构化的动作、状态与图像特征。数据集已预划分为训练集，涵盖全部302个交互片段，适用于端到端的策略学习或行为克隆任务。利用附带的视频路径信息，用户可同步调用视觉数据，实现多模态模型的训练与验证。该数据集遵循Apache 2.0许可，支持在机器人学习领域进行广泛的实验与应用开发。

背景与挑战

背景概述

在机器人学习领域，高质量、大规模的真实世界交互数据对于推动模仿学习与强化学习算法的进步至关重要。dataset_3数据集由HuggingFace的LeRobot项目创建，旨在为机器人操作任务提供丰富的多模态演示数据。该数据集聚焦于特定机器人平台（so101_follower）的轨迹记录，涵盖了302个完整交互片段，总计超过13万帧数据，并同步采集了多视角视觉观测与精确的关节状态动作信息。其核心研究问题在于如何构建一个结构清晰、易于访问的标准化数据集，以支持端到端机器人策略学习的研究，从而降低真实机器人实验的门槛，加速算法在复杂物理环境中的验证与部署。

当前挑战

该数据集致力于解决机器人模仿学习中从高维多模态感知到连续动作空间映射的核心挑战，其难点在于如何从包含前视、侧视与顶视摄像头视频流以及六维关节状态的异构观测中，学习出鲁棒且泛化能力强的控制策略。在构建过程中，挑战同样显著：需要设计高效的数据流水线以同步记录并存储海量的视频与状态数据；确保数据在长时间采集过程中的时序对齐与完整性；以及将原始传感器数据转化为格式统一、便于机器学习模型直接消费的结构化表示，这些工程实践上的复杂性对数据集的可靠性与可用性构成了直接考验。

常用场景

经典使用场景

在机器人学习领域，dataset_3数据集以其丰富的多视角视觉观测与关节状态数据，为模仿学习算法的训练提供了经典范例。该数据集记录了so101_follower机器人在执行任务过程中的连续动作序列，涵盖前视、侧视和俯视三个角度的视频流，以及六自由度机械臂的精确位置信息。研究者可利用这些同步的多模态数据，构建端到端的策略网络，使机器人能够从人类演示中学习复杂的操作技能，实现从视觉感知到动作执行的直接映射。

解决学术问题

该数据集有效应对了机器人模仿学习中数据稀缺与异构融合的挑战。通过提供大规模、高质量的真实世界交互轨迹，它支持了从高维视觉输入到低维动作空间的表示学习研究，促进了基于深度学习的策略泛化能力探索。其结构化标注解决了长期存在的动作-状态对齐问题，为评估模仿学习算法的样本效率与泛化性能提供了基准，推动了机器人自主技能获取的理论进展。

实际应用

在实际机器人部署中，dataset_3数据集可直接用于服务机器人的跟随与辅助操作任务。基于该数据训练的模型能够使机器人在动态环境中实现稳健的视觉伺服控制，例如在仓储物流中跟随操作员进行物品搬运，或在医疗康复场景中辅助患者完成日常活动。其多视角视觉系统增强了机器人在遮挡或光照变化下的环境感知鲁棒性，提升了复杂场景下的任务成功率。

数据集最近研究

最新研究方向

在机器人学习领域，多模态感知与决策融合正成为前沿探索的核心议题。dataset_3数据集凭借其丰富的多视角视觉流与精确的关节状态记录，为模仿学习与强化学习算法提供了高质量的仿真环境。当前研究聚焦于利用此类数据训练端到端的视觉运动策略模型，旨在提升机器人在复杂场景中的泛化能力与操作精度。随着具身智能概念的兴起，该数据集在推动机器人自主执行多样化任务方面展现出重要潜力，其开源特性进一步加速了社区在真实世界机器人应用中的算法迭代与验证进程。