alanz-mit/FoundationTactile

FoTa数据集是一个用于触觉表示学习的大型数据集，包含了来自13个基于摄像头的触觉传感器和11个任务的超过300万张触觉图像。数据集以WebDataset格式发布，便于使用和可视化。每个.tar文件包含触觉图像和任务特定的标签，文件结构清晰，易于理解和操作。

The FoTa dataset is a large dataset for tactile representation learning, containing over 3 million tactile images collected from 13 camera-based tactile sensors and 11 tasks. The dataset is released in a unified WebDataset format, making it easy to use and visualize. Each .tar file contains tactile images and task-specific labels, with a clear file structure that is easy to understand and manipulate.

原始信息汇总

Foundation Tactile (FoTa) 数据集概述

概述

FoTa 是一个多传感器多任务的大型触觉感知数据集，与 Transferable Tactile Transformers (T3) 一起发布，用于触觉表示学习。该数据集整合了一些最大的开源触觉数据集，并以统一的 WebDataset 格式发布。

FoTa 包含超过 300 万张触觉图像，这些图像来自 13 种基于摄像头的触觉传感器和 11 个任务。

文件结构

下载并解压后，FoTa 数据集的文件结构如下：

dataset_1 |---- train |---- count.txt |---- data_000000.tar |---- data_000001.tar |---- ... |---- val |---- count.txt |---- data_000000.tar |---- ... dataset_2 : dataset_n

每个 .tar 文件是一个分片的数据集。在运行时，WebDataset (wds) API 会自动加载、洗牌和解包所有分片。.tar 文件易于可视化，无需任何代码即可双击查看其内容。

每个 .tar 文件的内部结构如下：

data_000000.tar |---- file_name_1.jpg |---- file_name_1.json : |---- file_name_n.jpg |---- file_name_n.json

.jpg 文件是触觉图像，.json 文件存储任务特定的标签。

下载和解包

可以使用以下 Python 脚本下载数据集：

python from huggingface_hub import snapshot_download

snapshot_download(repo_id="alanz-mit/FoundationTactile", repo_type="dataset", local_dir=".", local_dir_use_symlinks=False)

解包数据集（已分割成多个 .zip 文件）：

sh cd dataset zip -s 0 FoTa_dataset.zip --out unsplit_FoTa_dataset.zip unzip unsplit_FoTa_dataset.zip

引用

@article{zhao2024transferable, title={Transferable Tactile Transformers for Representation Learning Across Diverse Sensors and Tasks}, author={Jialiang Zhao and Yuxiang Ma and Lirui Wang and Edward H. Adelson}, year={2024}, eprint={2406.13640}, archivePrefix={arXiv}, }

MIT 许可证。

搜集汇总

数据集介绍

构建方式

Foundation Tactile (FoTa) 数据集的构建方式体现了多传感器与多任务的整合。该数据集汇聚了多个最大的开源触觉数据集，并以统一的 WebDataset 格式发布。通过收集来自13个基于摄像头的触觉传感器的数据，FoTa 数据集包含了超过300万张触觉图像，涵盖11个不同的任务。这种构建方式不仅确保了数据的高质量和多样性，还为触觉表示学习提供了丰富的资源。

特点

FoTa 数据集的主要特点在于其大规模、多传感器和多任务的特性。数据集包含了超过300万张触觉图像，这些图像来自13个不同的触觉传感器，涵盖了11个任务。此外，数据集以 WebDataset 格式发布，这种格式便于数据的加载、洗牌和解包，同时也便于可视化。每个 `.tar` 文件都是一个分片的数据集，用户可以通过简单的双击来查看其内容，无需编写代码。

使用方法

使用 FoTa 数据集时，用户可以通过 Hugging Face 的 `huggingface_hub` 库进行下载和解包。首先，安装 `huggingface_hub` 库，然后在 Python 脚本中使用 `snapshot_download` 函数下载数据集。数据集以 `.tar` 文件的形式存储，每个文件包含触觉图像和相应的任务标签。用户可以通过 WebDataset API 自动加载、洗牌和解包这些文件。此外，数据集还提供了 Colab 教程，帮助用户逐步了解如何使用该数据集进行触觉表示学习。

背景与挑战

背景概述

在触觉感知领域，多传感器和多任务数据集的构建对于推动触觉表示学习的发展至关重要。Foundation Tactile (FoTa) 数据集由MIT CSAIL的研究团队于2024年创建，主要研究人员包括Jialiang Zhao、Yuxiang Ma、Lirui Wang和Edward H. Adelson。该数据集旨在通过整合多个开放源代码的触觉数据集，提供一个统一且大规模的触觉图像数据集，以支持触觉表示学习的研究。FoTa数据集包含了超过300万张触觉图像，这些图像来自13种基于摄像头的触觉传感器，并涵盖了11种不同的任务。这一数据集的发布不仅丰富了触觉感知领域的研究资源，也为跨传感器和任务的触觉表示学习提供了坚实的基础。

当前挑战

尽管FoTa数据集在触觉感知领域具有重要意义，但其构建过程中仍面临诸多挑战。首先，整合多个来源的触觉数据集需要解决数据格式和标签标准化的难题，以确保数据的一致性和可用性。其次，处理和存储大规模的触觉图像数据对计算资源和存储技术提出了高要求。此外，如何有效地利用这些数据进行模型训练，以实现跨传感器和任务的触觉表示学习，也是一个亟待解决的研究问题。这些挑战不仅涉及技术层面的优化，还需要在数据管理和算法设计方面进行深入探索。

常用场景

经典使用场景

在触觉感知领域，Foundation Tactile (FoTa) 数据集的经典使用场景主要集中在触觉图像的表示学习和多任务处理。该数据集通过整合多个开放源的触觉数据集，提供了超过300万张触觉图像，适用于训练和验证触觉传感器的模型。特别是，FoTa数据集与Transferable Tactile Transformers (T3) 结合使用，能够有效提升模型在不同传感器和任务间的迁移学习能力。

衍生相关工作

FoTa数据集的发布催生了多项相关研究工作，特别是在触觉表示学习和多任务处理方面。例如，基于FoTa数据集的研究已经提出了多种改进的触觉传感器模型，这些模型在不同传感器和任务间的迁移学习能力显著提升。此外，FoTa数据集还激发了关于触觉数据预处理和增强技术的研究，进一步推动了触觉感知领域的发展。

数据集最近研究

最新研究方向

在触觉感知领域，Foundation Tactile (FoTa) 数据集的最新研究方向主要集中在多传感器和多任务的触觉表示学习上。通过整合多个开源触觉数据集，FoTa 提供了一个大规模的触觉图像数据集，支持跨不同传感器和任务的触觉表示学习。研究者们正在探索如何利用 FoTa 数据集训练可迁移的触觉变换器（T3），以实现更高效和准确的触觉感知模型。这一研究方向不仅推动了触觉传感技术的发展，也为机器人学、人机交互等领域的应用提供了新的可能性。