Touch and Go

我们提出了一种用于多模式视觉触觉学习的数据集，称为Touch and Go，在该数据集中，人类数据采集器使用触觉传感器探测自然环境中的对象，同时记录以自我为中心的视频。
我们成功地将其应用于各种任务: 1) 自我监督的视觉触觉特征学习，2) 触觉驱动的图像样式化的新颖任务，即使对象看起来好像 “感觉像” 给定的触觉输入，和3) 从视觉触觉输入预测触觉信号的未来帧。

We present a dataset for multimodal visuo-tactile learning named Touch and Go. In this dataset, human data collectors use tactile sensors to probe objects in natural environments while recording egocentric videos.
We have successfully applied this dataset to a variety of tasks: 1) self-supervised visuo-tactile feature learning; 2) a novel task of tactile-driven image stylization, where objects appear as if they "feel like" the given tactile input; and 3) predicting future frames of tactile signals from visuo-tactile inputs.

搜集汇总

背景与挑战

背景概述

Touch and Go是一个多模式视觉触觉学习数据集，由卡内基梅隆大学和密歇根大学于2022年发布，大小为31.1GB。该数据集包含人类使用触觉传感器探测自然环境对象时记录的以自我为中心的视频，适用于自我监督特征学习、触觉驱动的图像样式化和触觉信号预测等多种任务。