chen4803/whack-a-mole

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=chen4803/whack-a-mole">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 1,
"total_frames": 1750,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:1"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.front": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作领域，数据集的构建往往依赖于真实的物理交互过程。whack-a-mole数据集通过LeRobot平台精心采集，记录了单次完整任务执行过程中的多模态数据。该数据集以30帧每秒的速率捕获了1750帧连续观测，数据以分块Parquet文件形式存储，并辅以同步录制的视频文件。构建过程中，机器人状态与动作信息被精确同步，确保了时序数据的一致性，为后续分析提供了可靠基础。

使用方法

利用该数据集时，研究者可通过标准数据加载接口访问分块存储的Parquet文件，并关联相应的视频流进行多模态分析。数据集中包含的帧索引与时间戳支持精确的时序对齐，便于训练基于状态的强化学习模型或视觉模仿学习算法。用户可依据任务需求提取关节动作、观测图像或完整轨迹，进而评估机器人在类似交互场景中的行为泛化能力。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的研究依赖于高质量、结构化的交互数据集。whack-a-mole数据集由LeRobot项目团队创建，旨在为机器人操作任务提供多模态的演示数据。该数据集聚焦于机械臂的灵巧操作问题，通过记录机械臂关节状态、前视与腕部摄像头视频流以及时间戳等信息，构建了一个包含1750帧、30帧率、总数据量达300MB的完整交互轨迹。其核心研究问题在于如何利用视觉与状态联合表征来提升机器人对动态环境的感知与决策能力，为后续的离线强化学习、行为克隆等算法提供了宝贵的真实世界数据基础，推动了机器人自主操作技术的发展。

当前挑战

whack-a-mole数据集所针对的领域挑战在于机器人灵巧操作中的感知-动作协同问题，具体涉及从高维视觉输入中提取有效特征以指导多自由度机械臂的精确控制。构建过程中的挑战主要体现在数据采集的复杂性与一致性上，例如需要同步记录多路视频流与关节状态数据，确保时间对齐的精确性；同时，数据规模相对有限，仅包含单一任务和较少帧数，可能限制模型的泛化能力。此外，数据格式的标准化与高效存储也是构建中的关键难点，需平衡数据质量与存储开销。

常用场景

经典使用场景

在机器人学领域，whack-a-mole数据集为模仿学习与强化学习算法的验证提供了典型范例。该数据集记录了机械臂执行“打地鼠”任务时的多模态数据，包括关节位置、前视与腕部摄像头视频流，以及时间戳等结构化信息。研究人员可利用这些数据训练模型学习从视觉观察到动作映射的策略，从而模拟人类操作者在动态环境中的决策过程。这种场景特别适用于评估算法在实时交互任务中的泛化能力与鲁棒性，为机器人控制研究奠定了实证基础。

解决学术问题

该数据集主要针对机器人控制中的模仿学习与视觉伺服等核心学术问题。通过提供高维视觉观测与精确动作轨迹的对应关系，它解决了传统方法中因数据稀缺导致的策略泛化不足难题。其多模态特性支持跨模态表征学习的研究，有助于探索如何从视觉输入中提取有效特征以驱动机械臂运动。此外，数据集的时间序列结构为研究时序决策与长期依赖问题提供了便利，推动了机器人自主技能学习领域的理论进展。

实际应用

在实际应用中，whack-a-mole数据集所代表的技术可延伸至工业自动化与服务机器人场景。例如，在装配线上，机器人需根据视觉反馈调整抓取位置；在家庭环境中，辅助机器人可能需完成类似“拾取与放置”的灵巧操作。该数据集提供的视觉-动作对数据能够训练机器人适应非结构化环境，提升其在动态任务中的适应性与精确性。这种能力对于开发智能仓储、医疗辅助或娱乐交互机器人具有重要价值，促进了机器人技术的实用化转型。

数据集最近研究

最新研究方向

在机器人操作领域，whack-a-mole数据集凭借其多模态特性，正成为研究视觉-动作映射与端到端模仿学习的前沿工具。该数据集整合了机械臂关节状态与双视角视觉流，为探索基于Transformer的序列建模方法提供了丰富素材，尤其在具身智能与真实世界交互任务中，推动了从感知到执行的无缝衔接。随着开源机器人平台LeRobot的普及，此类高质量演示数据正加速闭环策略优化与跨任务泛化能力的突破，为家庭服务与工业自动化场景中的自适应操作奠定了实证基础。