alanz-mit/FoundationTactile
收藏资源简介：
FoTa数据集是一个用于触觉表示学习的大型数据集，包含了来自13个基于摄像头的触觉传感器和11个任务的超过300万张触觉图像。数据集以WebDataset格式发布，便于使用和可视化。每个.tar文件包含触觉图像和任务特定的标签，文件结构清晰，易于理解和操作。
The FoTa dataset is a large dataset for tactile representation learning, containing over 3 million tactile images collected from 13 camera-based tactile sensors and 11 tasks. The dataset is released in a unified WebDataset format, making it easy to use and visualize. Each .tar file contains tactile images and task-specific labels, with a clear file structure that is easy to understand and manipulate.
Foundation Tactile (FoTa) 数据集概述
概述
FoTa 是一个多传感器多任务的大型触觉感知数据集，与 Transferable Tactile Transformers (T3) 一起发布，用于触觉表示学习。该数据集整合了一些最大的开源触觉数据集，并以统一的 WebDataset 格式发布。
FoTa 包含超过 300 万张触觉图像，这些图像来自 13 种基于摄像头的触觉传感器和 11 个任务。
文件结构
下载并解压后，FoTa 数据集的文件结构如下：
dataset_1 |---- train |---- count.txt |---- data_000000.tar |---- data_000001.tar |---- ... |---- val |---- count.txt |---- data_000000.tar |---- ... dataset_2 : dataset_n
每个 .tar 文件是一个分片的数据集。在运行时，WebDataset (wds) API 会自动加载、洗牌和解包所有分片。.tar 文件易于可视化，无需任何代码即可双击查看其内容。
每个 .tar 文件的内部结构如下：
data_000000.tar |---- file_name_1.jpg |---- file_name_1.json : |---- file_name_n.jpg |---- file_name_n.json
.jpg 文件是触觉图像，.json 文件存储任务特定的标签。
下载和解包
可以使用以下 Python 脚本下载数据集：
python from huggingface_hub import snapshot_download
snapshot_download(repo_id="alanz-mit/FoundationTactile", repo_type="dataset", local_dir=".", local_dir_use_symlinks=False)
解包数据集（已分割成多个 .zip 文件）：
sh cd dataset zip -s 0 FoTa_dataset.zip --out unsplit_FoTa_dataset.zip unzip unsplit_FoTa_dataset.zip
引用
@article{zhao2024transferable, title={Transferable Tactile Transformers for Representation Learning Across Diverse Sensors and Tasks}, author={Jialiang Zhao and Yuxiang Ma and Lirui Wang and Edward H. Adelson}, year={2024}, eprint={2406.13640}, archivePrefix={arXiv}, }
MIT 许可证。
