MichaelP719/front-top-data

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=MichaelP719/front-top-data">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 56,
"total_frames": 25410,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:56"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.camera1": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.camera2": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

front-top-data数据集依托LeRobot开源框架构建，旨在为机器人模仿学习研究提供标准化数据支撑。数据采集自SO-Follower机器人，包含56个完整演示片段，总计25410帧时序数据，以30帧/秒的速率记录。所有数据以Parquet格式高效存储，并将视频数据独立编码为AV1格式的MP4文件，兼顾压缩效率与视觉保真度。数据按照训练集0至55索引划分，结构清晰，便于算法快速加载与处理。

使用方法

用户可通过LeRobot库直接调用该数据集，实现极低门槛的数据加载与预处理。推荐使用DataLoader或Dataset类进行批量读取与迭代，将视觉观测与状态序列组合成训练样本，用于行为克隆、逆强化学习或端到端策略学习。数据集默认以1000帧为一块（chunk）组织，视频与状态数据路径分离但索引对应，便于实现异步加载与混合批处理策略，适配现代深度学习框架如PyTorch。

背景与挑战

背景概述

随着机器人学习与模仿学习领域的蓬勃发展，从真实机器人操作中采集的高质量示范数据成为驱动算法进步的关键。在此背景下，front-top-data数据集于近期由研究者MichaelP719通过LeRobot框架构建并发布，旨在为机器人操控任务提供标准化的训练与评估基准。该数据集聚焦于单任务（单一操控目标）的机器人学习场景，记录了共56个操作轨迹，合计约25410帧数据，并以30帧每秒的速率采集自一台so_follower型机械臂。其核心研究问题在于如何利用多视角视觉与关节状态信息，使机器人能够从人类示范中习得精细的操作策略。该数据集采用Apache-2.0开源协议发布，依托LeRobot生态的可视化与分析工具，降低了机器人学习研究的入门门槛，对推动模仿学习在真实机械臂上的应用具有示范意义。

当前挑战

该数据集所致力于解决的领域问题在于，机器人操控任务普遍面临从高维视觉输入与低维关节状态中高效提取鲁棒策略的挑战，尤其是在仅有单任务和有限轨迹（56个片段）的条件下，模型泛化能力与数据效率的矛盾尤为突出。在构建过程中，挑战首先体现在数据采集的物理一致性上：需要确保so_follower机械臂在执行同一任务时，不同episode之间的初始状态与操作轨迹具有可控的变异性，以避免模型学到与任务无关的伪相关性。其次，多模态数据的同步与对齐也构成技术难点，具体表现为两路摄像头（480×640分辨率、AV1编码）采集的视觉流与六自由度关节动作（shoulder_pan.pos等）及时间戳（timestamp）之间，需实现亚帧级的精确匹配，防止因时间偏移导致策略学习过程中的因果混淆。此外，数据存储与压缩策略（如chunks_size=1000的parquet分块与视频编码）需在保持信息完整性的同时兼顾计算效率，这对大规模模仿学习数据集的工程化设计提出了要求。

常用场景

经典使用场景

在机器人操作与模仿学习领域，front-top-data数据集为研究者提供了从多视角摄像头（camera1与camera2）记录的精细操作轨迹，其中包含6自由度关节动作与对应状态，共56个演示片段，超过25000帧高帧率数据。经典使用场景聚焦于基于视觉的机器人技能学习，如抓取、放置或精密装配任务，通过将视觉观测映射到低维动作空间，训练端到端的策略网络，实现从示范中泛化操作能力。

解决学术问题

该数据集直面机器人学习中的数据稀缺与维度复杂性问题。传统方法依赖手工建模或大量标记数据，而front-top-data以紧凑的60维动作空间和双视角视觉输入，为研究无状态感知下的逆强化学习、行为克隆及隐式策略优化提供了标准化平台。其意义在于降低了算法比较的壁垒，推动学界探索如何从有限演示中提取鲁棒性操作先验，尤其在解决弹性体或非刚性物体交互的不确定性方面具有示范价值。

实际应用

实际应用中，front-top-data可直接支撑工业协作机器人的快速部署，如通过少量示范教会机械臂完成零件分拣或线束插接。在服务机器人领域，其多模态数据可用于训练家庭助手执行桌面整理或厨房任务，并借助预训练-微调范式的迁移学习，适配新物体或环境，显著减少人工编程成本，提升自动化流水线的柔性适应能力。

数据集最近研究

最新研究方向

在机器人学习领域，front-top-data数据集凭借其搭载双摄像头视觉输入与六自由度动作记录的精细架构，成为模仿学习与遥操作前沿研究的重要基石。该数据集聚焦于so_follower机械臂的操控任务，以56个完整episode、逾2.5万帧的高频采样数据，为基于视觉-动作联合建模的端到端策略学习提供了高质量素材。当前，结合大语言模型与视觉-语言模型的多模态机器人操控是热点方向，此类数据集正被用于探索环境感知与动作生成的深度融合路径，从而推动机器人在非结构化场景中实现更灵巧、泛化的自主决策。其Apache-2.0开源协议亦促进了学术与工业界的协作创新，对降低机器人数据获取成本、加速具身智能技术落地具有深远意义。