Redirect4D-Bench

Redirect4D-Bench是一个用于评估单目动态视频相机重定向的基准测试数据集。它提供了真实的动态视频案例，包括4D点云、目标轨迹、渲染的目标深度和目标伪GT掩码，以便直接测量相机跟随和主题放置。

Redirect4D-Bench is a benchmark dataset for evaluating monocular dynamic video camera redirection. It provides real-world dynamic video cases, including 4D point clouds, object trajectories, rendered object depths, and pseudo-GT masks for target objects, to directly measure camera following and subject placement.

原始信息汇总

Redirect4D-Bench 数据集概述

数据集简介

Redirect4D-Bench 是一个用于评估单目动态视频中相机重定向（Camera Redirection）效果的基准测试集。该数据集提供真实的动态视频案例，包含4D点云、目标轨迹、渲染的目标深度以及目标伪真实掩码，能够直接测量相机跟随和主体放置的效果。

数据集规模

• 公开样本：约 2 GB
• 完整公开数据集：约 54 GB（不包含源RGB视频，仅两个样本轨迹包含源RGB用于快速预览）

数据集内容与结构

主要文件

• metadata.json：案例元数据
• tracks.jsonl：轨迹列表
• cases.jsonl：案例列表

轨迹文件夹结构（tracks/<track>/）

文件/文件夹	说明
camera.json	相机参数
masks/*.png	源前景掩码（PNG格式）
mask_video.mp4	源前景掩码视频
pointcloud/global_background.ply	全局背景点云
pointcloud/<frame>/*.ply	逐帧前景点云
pointcloud/<frame>/*.npz	逐帧点云数据
redirected/<trajectory>/trajectory.json	目标相机路径
redirected/<trajectory>/mask.mp4	目标伪真实掩码
redirected/<trajectory>/depth.mp4	目标伪真实深度图
redirected/<trajectory>/prompt.txt	生成管线使用的固定提示词

评估方法

• 评估对象为生成的RGB视频
• 视频命名格式：<track>_<trajectory>.mp4
• 评估指标包括：
  • 目标保真度/定位（Object fidelity/localization）
  • 相机姿态精度（Camera-pose accuracy）
• 评估工具自动提取生成视频的掩码，并与数据集的伪真实掩码进行比较
• 相机姿态精度通过重建生成视频的相机路径并与目标轨迹对比得到

数据集扩展（Scale Up）

用户可以使用自己的源RGB视频和前景掩码，通过提供的管线创建新轨迹，包括：

1. 45帧源片段和掩码对齐
2. 前景4D点云重建（含VIPE/LyRA背景）
3. 目标轨迹定义
4. 目标渲染（图像、深度、掩码）
5. 提示词生成
6. Wan目标RGB生成
7. 掩码精化
8. 发布格式案例输出

数据可视化

提供基于Viser的预览工具，可显示：

• 动/静态4D点云
• 源视频（如存在）
• 源掩码
• 目标轨迹
• 目标掩码
• 目标深度

许可协议

• 代码：Apache-2.0
• 数据集资产：单独许可协议（LICENSE-DATA.md）
• 第三方组件保留原始许可

搜集汇总

数据集介绍

构建方式

Redirect4D-Bench的构建围绕单目动态视频的相机重定向评估展开，采用真实动态视频案例作为基础，通过4D点云、目标轨迹、渲染目标深度及伪真值掩码等数据资产进行系统化组织。数据集以元数据文件、轨迹列表和案例列表为索引，涵盖YouTube视频ID、裁剪框、帧ID、相机内参及轨迹名称等关键信息。源前景掩码以视频与图像序列形式提供，4D点云资产则区分前景与背景进行存储。针对每个目标轨迹，数据集包含轨迹配置文件、渲染深度视频、精炼后的目标伪真值掩码以及生成管线所使用的冻结提示文本。这种多层级、多模态的构建策略，确保了相机重定向任务中目标跟随与主体定位的可量化测量。

使用方法

使用Redirect4D-Bench进行评测时，需将生成视频按指定命名规则存放于单一文件夹内，随后调用评估脚本即可自动完成物体保真度与相机位姿精度的指标计算。评估流程依赖基准内建的前景提取与相机路径重建模块：前者通过SAM3生成视频掩码并与目标伪真值掩码比对，后者则利用固定重建管线从生成视频中恢复相机运动轨迹并与目标轨迹比较。数据集同时提供了Viser可视化工具，支持对4D点云、源掩码、目标轨迹等资产的交互式预览。对于希望扩展数据集的用户，可通过完整的构建管线，从源RGB视频与前景掩码出发，经过场景重建、轨迹定义、目标渲染与结果后处理等步骤，生成与发布版格式一致的案例数据。

背景与挑战

背景概述

Redirect4D-Bench是由研究者Vei Cao等人于近期发布的一个开创性基准，旨在评估单目动态视频中的相机重定向技术。该数据集由包含4D点云、目标轨迹、渲染深度图及伪真值掩码的真实动态视频案例构成，直击当前视频生成领域的一个核心挑战——如何在改变相机视角的同时，既精确遵循预定相机路径，又保持前景主体的空间位置与形态一致性。作为首个系统性地对动态视频相机重定向进行量化评估的平台，Redirect4D-Bench填补了该领域评测标准的空白，为视频编辑、虚拟现实及自动驾驶等应用场景中的可控视角生成研究提供了关键支撑。

当前挑战

动态视频相机重定向面临的主要挑战包括：一是视角转换过程中前景主体的几何保真与定位精度难以平衡，现有方法常出现主体漂移或畸变；二是相机路径的严格遵循与自然动态视频流之间的冲突，尤其在非线性运动或快速遮挡场景下，路径偏离现象频发。构建该基准过程中也遭遇诸多困难，例如从原始YouTube视频中精准提取并重建动态4D点云需要克服复杂的背景分离与运动解耦问题；大规模数据集的标注与伪真值生成需依赖多阶段流水线（包括SAM3分割、VIPE背景重建及Wan生成），各模块间的误差累积增加了数据质量控制的挑战；此外，受限的源RGB视频版本因版权限制无法完全公开，仅提供元数据与重建流程，影响了数据集的可复现性与扩展性。

常用场景

经典使用场景

Redirect4D-Bench作为面向单目动态视频中摄像机重定向任务的专项评测基准，其核心应用场景在于系统性地评估生成式方法在遵循目标摄像机轨迹的同时保持前景主体在目标视图中正确放置的能力。该数据集提供了真实的动态视频案例，配套了4D点云、目标轨迹、渲染的目标深度以及伪真值掩码，从而能够直接量化摄像机跟随精度与主体定位准确性。研究者可利用此基准对不同的视频生成模型进行标准化测试，衡量其在动态场景重定向任务上的综合表现。

解决学术问题

该数据集有效回应了动态视频重定向领域长期存在的评估缺失问题。传统视频质量指标如FID、FVD等仅关注生成视频的视觉逼真度，却无法刻画重定向结果是否严格遵循了指定的摄像机运动路径，也无法衡量前景主体在目标视角下的空间位置是否准确。Redirect4D-Bench通过引入物体保真度与定位精度、摄像机姿态准确性两类量化指标，将摄像机重定向从单纯的视频质量问题拓展为一个可被直接度量的、兼具几何与语义约束的学术评估框架，填补了该方向基准系统的空白。

实际应用

在实际应用层面，该数据集为虚拟影像创作、影视后期制作、增强现实以及人机交互等场景提供了关键的技术验证平台。例如，在利用单目视频驱动虚拟摄像机进行自由视角渲染时，Redirect4D-Bench能够检验生成算法是否能在保持主体形态稳定的前提下，精确还原导演所期望的运镜路径。此外，该基准还可服务于自动化视频内容重定向系统，帮助开发者在生成视觉素材的同时，确保摄像机运动与主体空间关系的一致性，从而提升沉浸式媒体产品的制作效率与质量。

数据集最近研究

最新研究方向

在动态视觉内容生成领域，相机重定向技术正成为连接虚拟场景构建与真实视频体验的关键桥梁。Redirect4D-Bench应运而生，它为评估单目动态视频中的相机重定向效果提供了首个标准化基准，通过引入4D点云、目标轨迹、渲染深度及伪真实掩码等多维标注，直接量化相机追踪精度与前景主体定位准确性。该基准不仅填补了动态视频重定向评测的空白，更推动了生成模型在视频编辑、增强现实等热点应用中的性能度量从主观判断向客观指标演进，为构建高保真、可控的时空视觉内容生成系统奠定了关键的评测基础。