Tna001/eval_pi05_full_tactile_5

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=Tna001/eval_pi05_full_tactile_5">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so100_tactile_follower",
"total_episodes": 39,
"total_frames": 7511,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 10,
"splits": {
"train": "0:39"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.top": {
"dtype": "video",
"shape": [
224,
224,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 224,
"video.width": 224,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 10,
"video.channels": 3,
"has_audio": false
}
},
"observation.tactile.primary": {
"dtype": "float32",
"shape": [
16,
32
],
"names": [
"height",
"width"
]
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人学领域，数据集的构建往往依赖于实际物理系统的交互记录。eval_pi05_full_tactile_5数据集通过LeRobot平台，利用配备触觉传感器的so100_tactile_follower机器人，在真实环境中执行任务并采集多模态数据。该数据集共包含39个完整交互片段，总计7511帧，以10帧每秒的频率同步记录机器人的关节状态、视觉图像及触觉信息。数据以分块Parquet格式存储，每块约1000帧，确保了高效的数据管理与访问，为机器人控制与感知研究提供了结构化的实验记录。

特点

该数据集的核心特点在于其丰富的多模态感知融合。除了传统的六自由度关节位置状态与顶部摄像头采集的224x224分辨率RGB视频流外，还包含了16x32分辨率的触觉传感器数据，这种触觉信息的引入为机器人精细操作与物体交互研究提供了独特维度。数据以时序帧序列组织，每帧均附带时间戳、帧索引与任务索引，确保了时序一致性与任务上下文关联。所有特征均以浮点或整型格式标准化存储，便于机器学习模型直接处理，尤其适合用于模仿学习、强化学习及多模态感知算法的训练与评估。

使用方法

使用该数据集时，研究人员可通过LeRobot提供的可视化工具直观浏览数据内容，或直接加载Parquet文件进行程序化处理。数据集已预分为训练集，涵盖全部39个交互片段，适用于端到端策略学习或行为克隆任务。典型应用流程包括：解析各帧中的状态观测、动作指令及触觉阵列，构建时序样本；利用顶部图像与触觉数据训练视觉-触觉融合模型；或基于关节状态序列进行机器人运动规划分析。数据集的标准化格式确保了与主流机器学习框架的兼容性，支持高效的数据流水线构建与模型迭代验证。

背景与挑战

背景概述

eval_pi05_full_tactile_5数据集是机器人学领域的一项专业数据资源，由LeRobot项目团队构建并发布。该数据集专注于触觉感知与机器人操作任务，旨在通过整合多模态传感器信息，如关节状态、视觉图像和触觉阵列数据，推动机器人灵巧操作与交互能力的研究。其核心研究问题在于如何利用触觉反馈增强机器人在复杂环境中的自主控制与适应性，为机器人学习算法提供真实世界的交互数据支持。尽管具体创建时间与主要研究人员信息在现有资料中尚未明确，但该数据集依托于开源机器人平台，体现了当前机器人研究中对数据驱动方法的重视，对提升机器人感知与决策系统的鲁棒性具有潜在影响力。

当前挑战

该数据集旨在解决机器人触觉感知与操作控制领域的挑战，具体包括如何从高维触觉信号中提取有效特征以指导精确动作执行，以及如何融合视觉与触觉信息实现多模态学习。在构建过程中，挑战主要源于数据采集的复杂性：触觉传感器阵列（16×32维度）与机器人关节状态（6自由度）的同步记录需要高精度硬件集成与时间对齐；同时，视频数据（224×224分辨率，10fps）的实时处理与存储增加了数据管理的难度。此外，确保数据集的多样性与代表性，涵盖足够多的任务场景与交互变体，也是构建过程中面临的实际困难。

常用场景

经典使用场景

在机器人学领域，触觉感知是实现精细操作的关键技术之一。eval_pi05_full_tactile_5数据集通过整合触觉传感器数据、关节状态与视觉信息，为机器人模仿学习提供了丰富的多模态交互记录。该数据集典型应用于训练端到端的机器人控制策略，使机器人能够学习从感知到动作的映射关系，尤其在涉及物体抓取、装配等需要触觉反馈的任务中，为算法验证与性能评估提供了标准化基准。

实际应用

在实际机器人系统中，eval_pi05_full_tactile_5数据集可应用于工业自动化与家庭服务机器人场景。例如，在装配线上，机器人可借助该数据集学习如何通过触觉调整抓取力度，避免物体损坏；在康复辅助领域，它能为机械臂提供精细操作的学习范例，提升人机协作的安全性。这些应用体现了触觉感知在提升机器人自主性与适应性方面的价值。

衍生相关工作

基于该数据集，研究者已开展多项经典工作，主要集中在触觉增强的模仿学习与强化学习算法上。例如，开发了融合触觉图像的策略网络，以改善机器人在抓取任务中的成功率；另有工作探索了多模态表示学习，将触觉数据编码为紧凑特征，用于跨任务迁移。这些衍生研究推动了机器人感知与控制一体化的前沿进展。