KS325/place-doll-all

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=KS325/place-doll-all">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 40,
"total_frames": 34854,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:40"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.camera1": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.camera2": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作领域，place-doll-all数据集依托LeRobot框架构建，系统采集了40个完整操作序列，涵盖34854帧数据。数据以分块形式存储于Parquet文件中，每块包含1000帧，确保高效存取与处理。该数据集通过特定机器人平台记录多模态信息，包括关节状态与双视角视觉流，为机器人学习任务提供了结构化且可扩展的数据基础。

特点

该数据集以多模态融合为显著特征，整合了六维关节动作指令、双摄像头视觉观测及时间序列索引。视觉数据采用AV1编码的彩色视频流，分辨率达640x480，帧率为30fps，确保动作细节的清晰捕捉。数据结构设计严谨，包含帧索引、任务索引等多维度标识，支持复杂时序分析与跨模态对齐，为机器人模仿学习与策略优化提供了丰富且一致的环境交互记录。

使用方法

使用者可通过LeRobot工具链直接加载数据集，利用预定义的数据路径访问分块存储的Parquet文件与对应视频流。数据集适用于机器人行为克隆、强化学习等任务，支持从原始观测到动作映射的端到端训练。研究人员可依据帧索引与任务索引进行序列分割，结合双视角视觉输入与关节状态数据，构建多模态感知模型，推动机器人操作技能的自动化学习与泛化能力评估。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习依赖于高质量、大规模的真实世界交互数据以训练智能体执行复杂任务。place-doll-all数据集应运而生，它由HuggingFace的LeRobot项目创建，专注于机器人操作任务，具体涉及将玩偶放置到指定位置。该数据集收录了40个完整交互片段，包含超过三万帧的多模态观测数据，如关节状态与双摄像头视觉信息，旨在为机器人策略学习提供丰富的离线训练资源。其构建依托于开源机器人软件栈，体现了社区推动机器人泛化能力发展的集体努力，对促进端到端机器人控制算法的实证研究具有显著价值。

当前挑战

该数据集致力于解决机器人操作任务中的模仿学习与策略泛化挑战，其核心问题在于如何让机器人从视觉与状态观测中理解并执行精细的物体放置动作。构建过程中的挑战尤为突出，包括确保多模态数据（如高帧率视频与精确关节角度）的精确时间同步，以及在大规模数据采集时维持任务执行的一致性与安全性。此外，数据的高效存储与访问也是一大难点，需平衡视频压缩质量与后续模型训练的数据保真度，这些挑战共同塑造了数据集的技术深度与应用边界。

常用场景

经典使用场景

在机器人操作领域，place-doll-all数据集以其丰富的多模态数据为机器人模仿学习提供了经典范例。该数据集记录了机械臂执行放置玩偶任务的全过程，包含关节位置、视觉图像及时间戳信息，使得研究者能够基于真实世界交互数据训练端到端的控制策略。通过整合来自两个摄像头的视觉输入与六维动作空间，该数据集常用于开发视觉-动作映射模型，以提升机器人在复杂环境中的操作精度与泛化能力。

衍生相关工作

围绕该数据集，衍生出多项机器人学习领域的经典研究。例如，基于LeRobot框架的视觉模仿学习工作利用其多模态数据流，开发了端到端的策略网络，实现了从像素到动作的实时控制。同时，该数据集也促进了离线强化学习算法的比较与优化，为样本高效的行为克隆与模型预测控制方法提供了基准测试平台，推动了真实世界机器人操作技术的演进。

数据集最近研究

最新研究方向

在机器人操作领域，place-doll-all数据集凭借其丰富的多模态数据，正成为推动模仿学习与强化学习融合研究的关键资源。该数据集包含高帧率视觉观测与精确关节动作记录，为开发端到端策略网络提供了坚实基础。前沿探索聚焦于利用此类数据训练通用机器人模型，旨在实现跨任务泛化与零样本操作能力。结合视觉语言模型的热潮，研究人员正尝试将自然语言指令与动作序列对齐，以提升机器人在非结构化环境中的适应性与交互智能。这些进展不仅加速了家庭服务机器人的实用化进程，也为具身智能的理论突破提供了实证支持。