Touch and Go

我们提出了一种用于多模式视觉触觉学习的数据集，称为Touch and Go，在该数据集中，人类数据采集器使用触觉传感器探测自然环境中的对象，同时记录以自我为中心的视频。 我们成功地将其应用于各种任务: 1) 自我监督的视觉触觉特征学习，2) 触觉驱动的图像样式化的新颖任务，即使对象看起来好像 “感觉像” 给定的触觉输入，和3) 从视觉触觉输入预测触觉信号的未来帧。