romoya/B1_Station_CountertopClean

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=romoya/B1_Station_CountertopClean">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "romoya_lebai_follower",
"total_episodes": 100,
"total_frames": 208436,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:100"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"joint1.pos",
"joint2.pos",
"joint3.pos",
"joint4.pos",
"joint5.pos",
"joint6.pos",
"gripper.pos",
"gripper.force",
"DO_0",
"DO_1",
"joint1.effort",
"joint2.effort",
"joint3.effort",
"joint4.effort",
"joint5.effort",
"joint6.effort",
"joint1.vel",
"joint2.vel",
"joint3.vel",
"joint4.vel",
"joint5.vel",
"joint6.vel",
"joint1.acc",
"joint2.acc",
"joint3.acc",
"joint4.acc",
"joint5.acc",
"joint6.acc",
"joint1.temp",
"joint1.voltage",
"joint2.temp",
"joint2.voltage",
"joint3.temp",
"joint3.voltage",
"joint4.temp",
"joint4.voltage",
"joint5.temp",
"joint5.voltage",
"joint6.temp",
"joint6.voltage",
"flange_voltage",
"tcp.x",
"tcp.y",
"tcp.z",
"tcp.rx",
"tcp.ry",
"tcp.rz"
],
"shape": [
47
]
},
"observation.state": {
"dtype": "float32",
"names": [
"joint1.pos",
"joint2.pos",
"joint3.pos",
"joint4.pos",
"joint5.pos",
"joint6.pos",
"gripper.pos",
"gripper.force",
"DO_0",
"DO_1",
"joint1.effort",
"joint2.effort",
"joint3.effort",
"joint4.effort",
"joint5.effort",
"joint6.effort",
"joint1.vel",
"joint2.vel",
"joint3.vel",
"joint4.vel",
"joint5.vel",
"joint6.vel",
"joint1.acc",
"joint2.acc",
"joint3.acc",
"joint4.acc",
"joint5.acc",
"joint6.acc",
"tcp.x",
"tcp.y",
"tcp.z",
"tcp.rx",
"tcp.ry",
"tcp.rz",
"joint1.temp",
"joint2.temp",
"joint3.temp",
"joint4.temp",
"joint5.temp",
"joint6.temp",
"joint1.voltage",
"joint2.voltage",
"joint3.voltage",
"joint4.voltage",
"joint5.voltage",
"joint6.voltage",
"flange_voltage",
"flange.x",
"flange.y",
"flange.z",
"flange.rx",
"flange.ry",
"flange.rz",
"target_joint1.pos",
"target_joint2.pos",
"target_joint3.pos",
"target_joint4.pos",
"target_joint5.pos",
"target_joint6.pos",
"target_joint1.vel",
"target_joint2.vel",
"target_joint3.vel",
"target_joint4.vel",
"target_joint5.vel",
"target_joint6.vel",
"target_joint1.acc",
"target_joint2.acc",
"target_joint3.acc",
"target_joint4.acc",
"target_joint5.acc",
"target_joint6.acc",
"target_joint1.effort",
"target_joint2.effort",
"target_joint3.effort",
"target_joint4.effort",
"target_joint5.effort",
"target_joint6.effort",
"target_tcp.x",
"target_tcp.y",
"target_tcp.z",
"target_tcp.rx",
"target_tcp.ry",
"target_tcp.rz"
],
"shape": [
83
]
},
"observation.images.wrist": {
"dtype": "video",
"shape": [
480,
864,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 864,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.top": {
"dtype": "video",
"shape": [
480,
848,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 848,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.side": {
"dtype": "video",
"shape": [
480,
848,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 848,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量的数据集对于训练和验证模型至关重要。B1_Station_CountertopClean数据集依托LeRobot平台构建，通过romoya_lebai_follower型机器人执行清洁台面的单一任务，采集了100个完整的工作周期，共计208,436帧数据。数据以30帧每秒的速率录制，并以Parquet格式分块存储，每块包含1000帧，确保了数据的高效访问与处理。视频数据采用H.264编码，分别从腕部、顶部和侧面三个视角捕捉，为多模态学习提供了丰富的视觉信息。

特点

该数据集在机器人感知与控制领域展现出显著的多模态特性。其核心特征在于融合了高维度的关节状态数据与多视角视频流，动作空间包含47个维度，覆盖了位置、速度、加速度、力矩及温度等关节级物理量，而观测状态则扩展至83维，并引入了目标关节与末端执行器的期望状态。视觉方面，三个固定视角的RGB视频以480p分辨率同步记录，为环境理解与动作关联提供了立体化视觉上下文。数据集结构清晰，所有数据均附带时间戳与索引，便于时序建模与离线分析。

使用方法

为促进机器人模仿学习与行为克隆研究，该数据集提供了标准化的加载与处理流程。用户可通过Hugging Face数据集库直接访问，利用LeRobot工具链解析Parquet文件与关联的MP4视频。数据已预划分为训练集，涵盖全部100个周期，研究者可依据帧索引或周期索引提取所需的观测-动作对。多模态数据允许联合训练视觉-运动策略模型，例如将腕部图像与关节状态作为输入，预测相应的控制指令。数据集还支持可视化工具，便于直观检查机器人执行轨迹与环境交互过程。

背景与挑战

背景概述

在机器人学习领域，高质量、大规模的真实世界交互数据对于推动模仿学习与强化学习算法的进步至关重要。B1_Station_CountertopClean数据集应运而生，它依托于LeRobot开源框架构建，专注于桌面清洁这一具体操作任务。该数据集由HuggingFace社区的研究人员或团队创建，旨在为机器人操作技能的学习提供一个包含多模态感知与精细动作控制的基准。其核心研究问题聚焦于如何从高维的视觉观测与本体状态数据中，有效学习并泛化复杂的连续控制策略，从而提升机器人在非结构化环境中的自主作业能力。此类数据集的涌现，正逐步弥合仿真训练与现实部署之间的鸿沟，对促进服务机器人及工业自动化的发展具有深远影响。

当前挑战

该数据集致力于解决机器人模仿学习中从演示数据到有效策略生成的挑战，其核心难题在于处理高维、异构的多模态数据流，并从中提取鲁棒且可泛化的动作表征。具体而言，挑战体现在两个方面：其一，在领域问题层面，如何协调来自腕部、顶部及侧方摄像头的视觉信息与数十个关节状态、力/力矩、末端位姿等本体感知信号，以准确理解任务上下文并生成精确、平滑的机械臂控制指令，这是一个极具复杂性的多传感器融合与序列决策问题。其二，在构建过程中，确保长达20余万帧、包含视频与状态数据的采集同步性、校准精度与一致性，同时处理大规模数据的存储、索引与高效访问，亦是工程实现上的重大考验。

常用场景

经典使用场景

在机器人操作学习领域，B1_Station_CountertopClean数据集为桌面清洁任务提供了丰富的多模态演示数据。该数据集通过记录六轴机械臂在清洁桌面环境中的关节位置、速度、力矩以及末端执行器位姿等状态信息，同时整合了腕部、顶部和侧面的视觉观测视频，为模仿学习与强化学习算法提供了标准化的训练与评估基准。研究人员能够利用这些高维连续动作空间与多视角视觉反馈，构建端到端的策略网络，从而模拟人类操作员完成精细的清洁动作。

衍生相关工作

围绕该数据集，学术界衍生出一系列专注于机器人操作学习的经典研究。例如，基于模仿学习的策略蒸馏方法利用其多模态示范优化动作预测精度；结合强化学习的离线训练框架则通过数据集中的状态-动作对提升探索效率。此外，视觉-运动协同建模工作借助其同步视频与控制信号，推动了跨模态预训练模型在机器人领域的应用，为后续的大规模机器人行为数据集构建奠定了方法论基础。

数据集最近研究

最新研究方向

在机器人学习领域，B1_Station_CountertopClean数据集以其丰富的多模态数据特征，正成为推动模仿学习与强化学习融合研究的关键资源。该数据集通过整合关节位置、力矩、视觉观测等多维度信息，为开发能够适应动态环境的灵巧操作策略提供了坚实基础。当前研究热点聚焦于利用此类数据训练端到端策略模型，以提升机器人在非结构化场景下的泛化能力，尤其在桌面清洁等日常任务中实现高效自主执行。这一方向不仅呼应了家庭服务机器人普及化的趋势，也为解决现实世界中的复杂交互问题开辟了新路径，具有显著的工程应用价值。