Alkatt/so_101_BlackBoatToBowl_v1

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=Alkatt/so_101_BlackBoatToBowl_v1">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 20,
"total_frames": 8265,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:20"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.camera1": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.camera2": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.camera3": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作领域，模仿学习依赖高质量的任务演示数据。so_101_BlackBoatToBowl_v1数据集采用LeRobot框架构建，针对so_follower机械臂采集了20个完整回合的操作数据，总计8265帧，任务聚焦于将黑色船形物体移至碗内的单一操作。数据以Parquet格式存储结构化动作与状态信息，同时录制了三个视角的视频流，每个回合以30帧/秒的速率同步记录视觉与运动数据，确保多模态对齐。数据集被整体划分为训练集，便于端到端策略学习。

使用方法

数据集通过Hugging Face平台分发，兼容LeRobot生态系统。用户可直接利用LeRobot库加载数据，通过提供的可视化工具交互式浏览演示视频与机器人状态轨迹。在模型训练中，可将parquet文件中的六维动作和状态数据作为输入输出对，结合多视角图像帧训练模仿学习或强化学习策略。数据已按标准split划分为完整的训练集，对于需要验证的场景，可自行划分留出部分回合进行测试。建议在主流的PyTorch或JAX框架下结合LeRobot的DataLoader进行高效流水线操作。

背景与挑战

背景概述

so_101_BlackBoatToBowl_v1数据集是由研究人员基于LeRobot框架构建的机器人操控数据集，创建于开源社区推动具身智能发展的浪潮中。该数据集聚焦于一个精细的机器人模仿学习任务——将黑色小船从初始位置精准放置于碗中，旨在为机器人学习从多模态感知到动作执行的端到端映射提供标准化数据资源。数据集包含20个演示轨迹，总帧数达8265帧，以30帧每秒的采样率记录了六自由度机械臂关节位置、三维视觉观测及对应动作序列。其出现填补了特定精细化操控任务在公开可复现数据上的空白，为模仿学习、行为克隆等领域研究提供了兼具复杂性与可研究性的基准，对推进机器人从仿真到真实环境的技能迁移具有重要参考价值。

当前挑战

该数据集面临的挑战首先源于其核心领域问题：精细化的物体重定位操作要求机器人模型具备高精度的空间感知与协调控制能力，即使在演示数据有限的情况下（仅20个轨迹），模型需要从高维视觉与关节状态数据中提取鲁棒的运动模式，并泛化至碗具摆放位置、光照条件等变量变化的环境，这对现有模仿学习算法的小样本学习能力与跨场景泛化性构成了严峻考验。在数据集构建过程中，挑战同样显著：多视角摄像机的标定、六自由度关节动作与三维视觉信息在时序上的严格对齐，以及在有限数据量下保证动作轨迹的平滑性与多样性，均需精心设计的数据采集协议与后处理流程。此外，数据存储采用parquet与视频分块格式，视频编解码（AV1）与高帧率流处理也为数据加载与预处理的效率带来了技术难点。

常用场景

经典使用场景

在机器人操作与模仿学习领域，so_101_BlackBoatToBowl_v1数据集被广泛应用于训练机器人从视觉输入到动作输出的端到端映射。该数据集收录了20个完整操作回合，包含8265帧来自三台摄像头的同步视觉流和六自由度关节动作序列，覆盖了机械臂将黑船形物体移至碗中的精细操作任务。研究者借助LeRobot框架，可便捷地将这些数据用于训练条件模仿学习模型，使机器人学习在复杂背景下完成类似目标导向动作，成为验证模仿学习算法在少样本条件下泛化能力的基准资源。

解决学术问题

该数据集为机器人学中精细操作技能的迁移学习难题提供了关键支撑。传统方法依赖精确的物理建模和手工设计规则，难以推广到非结构化环境。so_101_BlackBoatToBowl_v1通过提供高保真度、多视角的专家演示数据，使得基于行为克隆和逆强化学习的算法能够直接从真实操作轨迹中提炼策略，有效解决了演示数据匮乏导致的策略过拟合问题。其标准化格式与LeRobot生态的兼容性，推动了可复现研究范式的建立，为探索视觉运动策略的样本效率和鲁棒性奠定了数据基础。

实际应用

在智能制造与家庭服务场景中，该数据集的应用潜力尤为突出。例如，工业装配线上的工件拾放操作可借鉴数据集中的变位策略，通过迁移学习快速适应不同尺寸或材质的对象。在服务机器人领域，数据集训练的策略可帮助机器人学习从杂乱环境中识别目标并将其归位，如厨房中碗碟的整理。其多摄像头配置模拟了实际部署时的视觉传感需求，使得训练出的模型能更好地应对光照变化和遮挡等现实挑战，加速了实验室算法向产品级系统的转化进程。

数据集最近研究

最新研究方向

在机器人学习与灵巧操作领域，so_101_BlackBoatToBowl_v1数据集聚焦于“黑船入碗”这一精细操作任务的前沿探索。该数据集基于LeRobot框架构建，收录了20条完整示教轨迹，包含8265帧高帧率（30fps）的视觉-动作序列，通过三视角立体视觉系统（480×640分辨率）与六维关节空间状态记录，为模仿学习与行为克隆研究提供了高质量的多模态基础。当前，该数据集的核心研究方向聚焦于利用端到端神经策略从人类演示中泛化复杂操作技能，尤其关注在非结构化环境下的物体搬移与姿态调整能力。随着具身智能与机器人自动化热潮的兴起，此类面向精细操作的数据集正加速推动从实验室仿真向真实世界部署的转化，其意义在于为构建可泛化的通用操作智能体提供关键数据支撑，并助力探索少样本学习与跨任务迁移等前沿挑战。