TaRF

TaRF 是由密歇根大学、耶鲁大学和加州大学伯克利分校联合创建的视触融合场景数据集，旨在将视觉与触觉信号对齐至共享的三维空间。该数据集包含 19.3k 对齐的视觉与触觉样本，覆盖 13 个普通场景，如办公室、走廊和户外环境。数据采集通过结合神经辐射场（NeRF）和触觉传感器完成，利用多视图几何方法校准视觉与触觉信号，实现空间对齐。TaRF 的创建过程包括场景的多视角视觉重建和同步采集触觉信号，最终通过扩散模型生成未直接采样的触觉信号。该数据集可用于触觉信号估计、触觉定位和材料属性理解等任务，为机器人交互和虚拟世界构建提供重要支持。TaRF is a visuo-tactile fusion scene dataset jointly created by the University of Michigan, Yale University, and the University of California, Berkeley. It aims to align visual and tactile signals into a shared three-dimensional space. This dataset contains 19.3k aligned visual and tactile samples, covering 13 common scenarios such as offices, corridors, and outdoor environments. Data collection is completed by combining Neural Radiance Field (NeRF) and tactile sensors, using multi-view geometry methods to calibrate visual and tactile signals to achieve spatial alignment. The creation process of TaRF includes multi-view visual reconstruction of the scene and synchronous collection of tactile signals, and finally generates tactile signals that were not directly sampled via diffusion models. This dataset can be used for tasks such as tactile signal estimation, tactile localization, and material property understanding, providing important support for robot interaction and virtual world construction.

原始信息汇总

Tactile-Augmented Radiance Fields (TaRF)

数据集信息

• 数据集名称：Tactile-Augmented Radiance Fields (TaRF)
• 作者：Yiming Dou, Fengyu Yang, Yi Liu, Antonio Loquercio, Andrew Owens
• 相关论文：Tactile-augmented radiance fields

数据集下载

• 数据集链接：点击此处下载
• 预训练模型下载：
  • NeRF模型：点击此处下载
  • Diffusion模型：点击此处下载

使用说明

安装

1. 安装Nerfstudio模块
2. 安装Diffusion模块

数据准备与模型加载

1. 下载COLMAP数据库
2. 下载预训练的NeRF和Diffusion模型

运行与交互

1. 启动Nerfstudio查看器
2. 与TaRF交互

触觉信号估计

• 修改bg_path参数
• 启动实时触觉估计器

训练自己的TaRF

• 训练触觉估计器

引用

@inproceedings{dou2024tactile, title={Tactile-augmented radiance fields}, author={Dou, Yiming and Yang, Fengyu and Liu, Yi and Loquercio, Antonio and Owens, Andrew}, booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition}, pages={26529--26539}, year={2024} }

搜集汇总

数据集介绍

构建方式

TaRF数据集的构建基于多项先进技术，如神经辐射场(NeRF)与扩散模型，通过融合触觉信息与视觉信息，旨在生成具有触觉增强效果的辐射场。该数据集利用COLMAP数据库中的场景图像及相机姿态数据，结合预训练的NeRF模型与扩散模型，实现了对场景的精细重建与触觉信息的实时估计。

特点

TaRF数据集的特点在于其创新性地将触觉信息与传统的视觉数据相结合，为用户提供了一种新的交互方式。数据集包含了多种不同场景的重建，如办公室、会议室、户外等，且每个场景均具备对应的触觉信号估计，使得该数据集在虚拟现实、增强现实及机器人等领域具有广泛的应用潜力。

使用方法

使用TaRF数据集首先需要安装Nerfstudio和Diffusion相关模块，接着准备数据与预训练模型。通过启动Nerfstudio查看器，用户可以在浏览器中与重建的场景进行交互，点击场景中的点以获取对应的触觉信号。此外，用户还可以在另一块GPU上实时估计触觉信号，并保存结果。训练自己的TaRF模型需要训练触觉估计器，相关脚本已提供。

背景与挑战

背景概述

Tactile-Augmented Radiance Fields（简称TaRF）数据集，是由Yiming Dou、Fengyu Yang、Yi Liu、Antonio Loquercio和Andrew Owens等研究人员共同开发，并在2024年IEEE/CVF计算机视觉与模式识别会议上发表的重要成果。该数据集的创建旨在融合触觉信息与辐射场技术，以增强虚拟现实中的交互体验。自发布以来，TaRF数据集凭借其创新的思路和丰富的数据资源，在虚拟现实和计算机视觉领域产生了广泛影响。

当前挑战

在研究背景方面，TaRF数据集面临的挑战主要在于如何精确捕捉和模拟触觉信息，并与视觉数据有效融合。具体挑战包括：1）领域问题挑战：数据集需解决的关键问题是真实感交互体验的实现，涉及对触觉信号的高精度估计和渲染。2）构建过程挑战：数据集的构建过程中，研究人员需克服多模态数据同步、大规模数据处理以及复杂场景重建等技术难题。

常用场景

经典使用场景

在计算机视觉与图形学领域，Tactile-Augmented Radiance Fields (TaRF) 数据集的典型应用场景在于，通过融合触觉信息与传统的光场技术，实现对物体表面细节的高精度重建与交互。该数据集提供了一个直观的交互界面，用户可通过对三维场景中的物体进行点击，实时获取该点的触觉信号，进而增强虚拟现实中的触觉反馈体验。

解决学术问题

TaRF 数据集解决了虚拟现实中触觉反馈不足的问题，为学术研究提供了触觉信息与视觉信息融合的新途径。它通过精确捕捉物体表面的微观结构，使得研究人员能够在虚拟环境中实现对触觉感知的模拟，这对于提升虚拟现实的沉浸感和交互性具有重要的学术价值。

衍生相关工作

基于TaRF数据集，已衍生出多项研究工作，包括触觉增强的虚拟现实交互技术、基于深度学习的触觉信号预测模型等。这些研究进一步拓展了TaRF的应用范围，为虚拟现实技术的发展提供了新的视角和方法论。