ted88168/manual_test

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=ted88168/manual_test">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 1,
"total_frames": 2828,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:1"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.camera1": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.camera2": {
"dtype": "video",
"shape": [
960,
1280,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 960,
"video.width": 1280,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据集的构建往往依赖于实际物理系统的交互记录。manual_test数据集通过LeRobot平台生成，采用so_follower型机器人进行单次任务执行，共采集2828帧数据，以30帧每秒的速率记录。数据以分块形式存储于Parquet文件中，每块约1000帧，同时包含对应的高清视频流，采用AV1编码保存双视角视觉信息，确保了数据的完整性与可追溯性。

特点

该数据集的特点体现在其多维度的观测与动作表征上。观测部分融合了机器人的六维关节状态与双摄像头视觉流，其中相机1分辨率为640x480，相机2达到1280x960，提供了丰富的场景细节。动作空间同样以六维浮点数向量定义，覆盖了肩部、肘部、腕部及夹爪的位姿控制。数据结构层次清晰，通过时间戳、帧索引与任务索引等元数据，支持精细的时序分析与任务划分。

使用方法

使用manual_test数据集时，研究者可通过LeRobot提供的可视化工具直观浏览数据内容。数据以标准化的Parquet格式组织，便于使用Pandas或类似工具进行加载与处理。该数据集适用于机器人模仿学习、行为克隆及视觉-动作映射等算法的训练与验证。由于仅包含单一训练分割，建议用户自行划分评估集，或将其作为预训练数据的补充，以提升模型的泛化能力。

背景与挑战

背景概述

在机器人学习领域，高质量、多模态的数据集对于推动模仿学习与强化学习算法的进步至关重要。manual_test数据集由Hugging Face的LeRobot项目创建，该项目致力于构建开源机器人学习生态系统。该数据集聚焦于机器人操作任务，具体针对'so_follower'型机器人，记录了包含关节位置、视觉观测与时间戳在内的多维度交互数据。其核心研究问题在于如何通过真实世界或仿真环境采集的序列数据，训练机器人执行复杂的跟随或操作任务，从而提升机器人在非结构化环境中的自主性与适应性。尽管创建时间与主要研究人员信息未明确披露，但其依托于LeRobot这一活跃的开源框架，暗示了其在促进机器人学习社区数据共享与算法基准测试方面的潜在影响力。

当前挑战

manual_test数据集旨在应对机器人模仿学习中的核心挑战，即如何从高维、异构的感官输入（如多视角图像与关节状态）中学习有效的控制策略。具体领域问题挑战包括：处理视觉观测与动作序列之间的复杂时序对齐，以及在不同光照、视角变化下保持策略的鲁棒性。在构建过程中，数据集面临数据采集与处理的显著挑战：需要同步记录来自多个摄像头的高帧率视频流与精确的机器人关节状态数据，确保时序一致性；同时，大规模视频数据的存储、压缩（如采用AV1编解码）与高效读取（以Parquet格式组织）也对数据处理管道提出了较高要求。此外，数据集中仅包含单个任务的一个演示片段，其规模与多样性有限，可能制约了训练泛化能力强的策略模型。

常用场景

经典使用场景

在机器人学习领域，manual_test数据集为模仿学习与行为克隆提供了关键资源。该数据集通过LeRobot平台采集，包含单次任务的2828帧数据，涵盖六自由度机械臂的关节位置动作与多视角视觉观测。其经典使用场景在于训练端到端的机器人控制策略，模型能够从高维图像输入直接映射到连续动作空间，实现基于视觉的精细操作任务。

实际应用

在实际工业与服务业场景中，manual_test数据集支持开发自主化的物体抓取与精密装配系统。基于该数据训练的模型可部署于类似构型的机械臂平台，实现无需重新编程的适应性操作，例如在物流分拣或实验室自动化流程中执行重复性任务。其多相机配置进一步增强了在遮挡环境下的鲁棒性，为现实世界的视觉伺服控制提供了可靠数据基础。

衍生相关工作

围绕该数据集衍生的经典工作主要集中在跨模态表示学习与分层策略架构。研究者利用其同步的动作-图像对开发了注意力机制驱动的轨迹预测模型，并在此基础上提出了基于世界模型的预测控制框架。这些工作显著提升了长时序任务中动作序列的连贯性，为后续的大规模机器人数据集构建提供了标准化范式。