TRACE-HEI

TRACE-HEI是由IEEE研究团队创建的首个概念验证多模态数据集，专为时间反转成像任务设计，旨在从残留物理痕迹推断近期人机交互事件。该数据集包含100条同步采集的紫外线、可见光和热成像视频序列，覆盖了坐立、触摸、物体移动及液体泼洒等多种动作，数据量涉及多材料和交互场景，每条序列记录交互后三分钟的衰减动态。数据集通过iPhone 15 RGB相机、FLIR ONE Pro热像仪和365纳米紫外相机采集，经过时间同步、几何校正和标准化处理，确保多模态数据对齐。其核心应用在于推动超越瞬时观测的场景理解研究，为解决法医调查、安全监测和机器人环境推理等逆向推理问题提供物理证据基础。TRACE-HEI is the first proof-of-concept multimodal dataset created by an IEEE research team, specifically designed for time-reversed imaging tasks, aiming to infer recent human-computer interaction events from residual physical traces. This dataset includes 100 synchronously collected video sequences of ultraviolet, visible light and thermal imaging, covering various actions such as sitting and standing, touching, object movement and liquid spilling. It involves multi-material and interaction scenarios, with each sequence recording the 3-minute attenuation dynamics after the interaction. The dataset is collected using an iPhone 15 RGB camera, a FLIR ONE Pro thermal imager and a 365-nanometer ultraviolet camera, and has undergone time synchronization, geometric correction and standardization processing to ensure the alignment of multimodal data. Its core application is to promote scene understanding research that goes beyond instantaneous observation, providing a physical evidence basis for solving inverse reasoning problems such as forensic investigation, safety monitoring and robotic environmental reasoning.

原始信息汇总

TRACE - HEI 数据集详情

数据集简介

TRACE-HEI 是一个多模态数据集，专为时间事件推理和场景理解设计，使用配对的 RGB 和热成像图像。其主要目标是捕捉物体和人类互动随时间留下的残余热模式，用于训练视觉语言模型（VLM）从退化的视觉证据中重建时间反转场景。

主要用途

• 时间反转成像：从多模态数据推断过去的人-环境互动。

目录结构

数据集按事件划分为独立场景（scene），每个场景内按时间间隔严格划分数据。文件层次结构如下：

📦 TRACE_Dataset ┣ 📂 scene_001 ┃ ┣ 📂 000_GT ┃ ┃ ┣ 📜 rgb.jpg ┃ ┃ ┣ 📜 th.tiff ┃ ┃ ┗ 📜 uv.png ┃ ┣ 📂 005s ┃ ┃ ┣ 📜 rgb.jpg ┃ ┃ ┣ 📜 th.tiff ┃ ┃ ┗ 📜 uv.png ┃ ... ┣ 📂 scene_002 ┗ 📂 scene_N

场景与时间内容详情

每个场景文件夹包含多个时间子文件夹，每个子文件夹包含三种模态文件：RGB、热成像 (TH) 和 UV。具体时间间隔如下：

时间间隔	子文件夹	文件（模态）	描述
000s (Ground Truth)	/GT/	RGB.png, TH.png, UV.png	实时事件，展示确切的互动，作为模型重建过去的基准真值
005s	/005/	RGB.png, TH.png, UV.png	互动结束5秒后，热信号依然强烈、边缘清晰，适合短期校准
015s	/015/	RGB.png, TH.png, UV.png	15秒后，自然热耗散开始，热边缘开始模糊
030s	/030/	RGB.png, TH.png, UV.png	30秒后，显著的热退化，模型需根据剩余热痕的中心质量推断形状
060s	/060/	RGB.png, TH.png, UV.png	1分钟后，痕迹微弱并混合背景热噪声，需结合RGB/UV上下文
120s	/120/	RGB.png, TH.png, UV.png	2分钟后，模式几乎完全消散，是数据集的主要挑战

模态规格

每个时间子文件夹包含三种格式文件：

• RGB (rgb.jpg)：可见光谱下的视觉场景上下文，用于理解环境语义（家具、表面、环境光照）
• 热成像 (th.tiff / th.png)：原始或归一化的辐射测量数据，包含事件残留痕迹的温度信息
• UV (uv.png)：紫外光谱数据，提供关于材料反射率和表面变化的信息，补充热数据

数据集规模与版本

• 版本：Version 1
• 大小：1.13 GB
• 场景数量：至少包含 36 个场景（从 Scene_001 至 Scene_036，以及更多），共 1851 个文件

许可与更新

• 许可：数据库开放许可，内容开放许可
• 更新频率：每年

标签

• Image, Computer Science, Computer Vision, Intermediate, Benchmark

可用性评分

• 8.75

搜集汇总

数据集介绍

构建方式

TRACE-HEI数据集旨在为时间反演成像这一新兴范式提供首个概念验证基准。该数据集通过同步采集RGB、热红外和紫外三种模态的视频序列构建而成，传感器分别采用iPhone 15摄像头（可见光波段）、FLIR ONE Pro热像仪（长波红外8–14微米）以及配备365纳米紫外照明的紫外相机（响应320–400纳米）。采集过程分为两个阶段：交互阶段（0–30秒）内记录受控的人-环境交互行为，如坐、触摸、移动物体、液体泼洒等，涵盖木材、织物、金属、塑料、玻璃等多种材料；随后的衰减阶段（30–180秒）则持续记录热信号、荧光信号及表面扰动的时空演化过程。所有场景视频经统一的流水线处理，实现时间同步、几何校正和模态间像素级对齐，最终形成包含100个多模态序列的数据集。

特点

TRACE-HEI数据集的显著特点在于其多模态、多材料和多动作的综合设计，为研究物理痕迹的时间衰减动力学提供了独特资源。数据集包含四种主要交互类别：坐/站转换、触摸交互、物体操作和残留物交互，每类25个场景，分布均衡，确保了评估的公平性。材料组成涵盖织物、木材、塑料、人造革和金属，它们具有不同的导热率、发射率、吸收率和荧光特性，从而产生异质的物理痕迹行为。热成像捕捉短至中期热传递和扩散模式，受材料特定扩散过程支配；紫外成像则揭示荧光和残留物线索，其持久性取决于表面纹理和物质成分。这种互补性使得TRACE-HEI能够系统地研究不同模态信号如何随时间衰退，并评估它们在约束过去事件推断中的协同作用。

使用方法

TRACE-HEI数据集的使用方法围绕时间反演成像的两阶段推断框架展开。首先，利用视觉语言模型（VLM）从当前时刻的多模态观测（RGB+热+紫外）中推断出结构化的过去事件描述（SPED），包括动作、涉及对象和材料属性，该描述以严格的语义模板输出，减少歧义。其次，将推断出的语义描述作为文本提示，引导VLM驱动的扩散模型重建过去时刻的RGB图像。评估协议涵盖三个层次：低层像素级指标（PSNR、SSIM）、特征级感知相似度（LPIPS、CLIP视觉嵌入余弦相似度）以及高层语义一致性（通过SAM分割掩码计算总体准确率，通过YOLOv11检测框计算交并比）。研究者可沿用此训练无关框架进行基准测试，或针对特定模态组合、时间延迟和材料类型开展消融实验。

背景与挑战

背景概述

时间反演成像（Time-Reversed Imaging）作为一种全新的计算范式，旨在从环境中残留的多模态物理痕迹中推断最近发生的人-环境交互事件。该领域由Jorge Bacca等人于2026年提出，其核心研究问题在于如何利用当前时刻采集的热红外、紫外及可见光光谱中的残余信号，重构出数秒乃至数分钟前的场景状态。为支撑这一研究，作者团队构建了TRACE-HEI数据集，这是首个专为时间反演成像设计的验证性多模态基准，包含100段同步的RGB、热红外和紫外视频序列，覆盖坐、触摸、移物、液体泼洒等四类交互动作及多种材料表面，数据采集后持续记录长达三分钟的痕迹衰减过程。该数据集融合了视觉、物理与生成推理，突破了传统视频预测仅能前向推演的局限，开辟了场景理解的新维度，对法医分析、智能安防、人机协作等领域具有深远影响。

当前挑战

时间反演成像面临的核心挑战在于其本质上是一个极度病态的逆问题：仅依赖单一RGB图像，可能的过去事件空间是无限的，结构上欠定。为缓解此歧义，TRACE-HEI数据集引入热红外与紫外多模态信号，以残存物理痕迹作为额外约束，但痕迹随时间的指数衰减（热扩散与荧光消退）使得有效推理窗口受限，实验表明超过60秒后重建质量显著下降。数据集构建过程中亦遭遇多重困难：需实现三模态传感器（iPhone 15、FLIR ONE Pro、365 nm紫外相机）的时空同步与几何校正，克服热漂移、光照变化及动态范围差异；多样化的材料（织物、木材、金属、塑料等）因导热率、发射率与荧光特性迥异，导致痕迹形成与衰变动力学高度异质；此外，紫外传感器光学配置需水平反转以保持取向一致，进一步增加了数据预处理的复杂度。

常用场景

经典使用场景

TRACE-HEI数据集的核心经典使用场景在于时间反演成像（Time-Reversed Imaging），这是一种全新的计算机视觉任务，旨在从当前时刻捕获的多模态残余痕迹（热红外、紫外及可见光）中推断出最近发生的人类-环境交互事件，并重构出事件发生时的场景画面。该数据集通过同步记录坐、触摸、移动物体、液体泼溅等动作在不同材质表面留下的热签名、荧光变化及表面扰动，为研究物理痕迹随时间衰减的动态过程提供了标准化基准。研究者可利用该数据集训练和评估模型，使其仅凭借交互后数秒至三分钟内的多光谱图像，逆向推理出过去发生的具体事件类别、涉及物体及空间布局，从而突破传统视频预测仅能正向推演未来的局限，开辟了基于物理证据的场景理解新范式。

实际应用

TRACE-HEI数据集的实际应用场景广泛而深远，尤其在安全监控、法医取证与人机协作等领域展现出巨大潜力。在安防领域，当摄像头仅捕捉到异常事件后的现场状态而未能记录触发动作时，系统可借助该数据集训练的方法，通过分析物体表面的残留热辐射与紫外线荧光，重构出几秒至几分钟前的关键交互过程，如非法触碰、物品搬移或液体泼洒。在法医科学中，调查人员抵达现场后，可通过多光谱探测设备提取肉眼不可见的接触痕迹，结合时间反演算法推断嫌疑人或受害者的行动轨迹。此外，在智能工厂或家庭机器人应用中，机器人进入工作区域后，可通过探测台面上的残余热量与荧光标记，理解此前人类操作的内容与对象，从而安全且合理地接管后续任务。

衍生相关工作

TRACE-HEI数据集催生了一系列开创性学术工作，推动了多模态逆向推理领域的发展。其中最具代表性的包括基于视觉-语言模型（VLM）的痕迹语义解析方法，其将热红外与紫外信号中的残余模式转化为结构化的过去事件描述，如“一只手压在了木质桌面上”，从而将模糊的物理痕迹映射为可操作的语义信息。在此基础上，研究者进一步提出了VLM引导的扩散模型重建框架，利用语言描述作为约束条件，从当前多模态观测中生成与物理证据一致的过去视觉帧。此外，该数据集还促使了物理信息时间估计器的开发，通过牛顿冷却定律从热图像中反推接触后的精确延迟时间，增强了系统在未知时序条件下的鲁棒性。这些工作共同建立了时间反演成像的初步理论体系与评估基准，为后续探索更长时域、更复杂场景的逆向推理奠定了基石。