Light-Syn

Light-Syn是由北京人工智能研究院等机构联合构建的合成数据集，专为视频重光照与相机轨迹控制任务设计。该数据集通过逆向映射的降级流程，从真实世界单目视频中生成包含静态、动态及AI生成场景的多样化训练样本，涵盖几何与光照解耦的配对数据。其核心创新在于通过几何一致性投影，将原始视频的几何信息与合成光照线索映射至降级视图，解决了多视角多光照真实数据稀缺的难题。该数据集主要应用于生成式视频渲染领域，支持联合相机-光照控制模型的训练，旨在突破现有方法在光照保真度与时序一致性之间的权衡瓶颈。Light-Syn is a synthetic dataset jointly constructed by institutions including the Beijing Academy of Artificial Intelligence, specifically tailored for video relighting and camera trajectory control tasks. This dataset generates diverse training samples encompassing static, dynamic and AI-generated scenes from real-world monocular videos via a reverse-mapping downgrading pipeline, covering paired data with decoupled geometry and illumination. Its core innovation lies in mapping the geometric information of the original video and synthetic illumination cues to the downgraded views through geometric-consistent projection, thereby resolving the scarcity issue of real-world multi-view and multi-illumination data. This dataset is primarily applied in the field of generative video rendering, enabling the training of joint camera-and-illumination control models, and aims to break through the trade-off bottleneck between illumination fidelity and temporal consistency in existing approaches.

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，生成式视频渲染技术正朝着多维度可控性发展，Light-Syn数据集正是为应对多视角、多光照配对视频数据稀缺的挑战而构建。该数据集通过一种基于退化与逆向映射的合成流程，从真实世界的单目视频素材中生成训练所需的配对数据。具体而言，选取高质量的原视频作为监督目标，通过应用光照编辑或视角变换等退化操作生成其对应版本作为输入，并记录退化过程中的几何变换关系。随后，利用这些变换关系的逆过程，将原始视频的几何与光照信息投影到退化视频的视角下，从而生成在几何上严格对齐的几何先验视图和光照提示视图。这一流程从静态场景、动态场景以及AI生成视频三个互补的数据源中，分别构建了8千、8千和2千个训练样本，确保了数据在视角多样性、运动真实性和光照丰富性上的全面覆盖。

使用方法

Light-Syn数据集专为训练像Light-X这类能够联合控制相机与光照的视频生成框架而设计。在模型训练过程中，数据集提供的配对样本被直接使用：将经过退化处理的视频作为模型的输入序列，同时将与之配对的、从原始视频通过逆向映射得到的几何对齐渲染图、可见性掩码、稀疏重光照视频及其投影视图等作为条件信号输入模型。原始的高质量视频则作为监督目标，指导模型学习从带有特定退化（如不同光照或视角）的输入中，重建出符合目标相机轨迹和光照条件的高保真、时序一致的视频。这种使用方法使得模型能够有效解耦并联合学习几何运动与光照信息，最终实现从单目视频出发，对生成视频的相机视角和照明效果进行灵活且高质量的控制。

背景与挑战

背景概述

Light-Syn数据集由S-Lab、BAAI、HUST、AIR、THU、FNii、CUHKSZ、SJTU、EIT等机构的研究团队于2025年提出，旨在解决视频生成领域中相机轨迹与光照联合控制的训练数据稀缺问题。该数据集的核心研究问题在于如何从单目视频中合成具有多视角和多光照配对的训练样本，以支持生成模型学习几何与光照的解耦表示。其构建基于退化合成与逆映射技术，能够从真实世界视频中自动生成涵盖静态、动态及AI生成场景的多样化数据，为Light-X等先进视频生成框架提供了关键的训练基础，显著推动了可控视频合成在沉浸式AR/VR与影视制作等领域的应用潜力。

当前挑战

Light-Syn数据集面临的挑战主要体现在两方面：其一，在领域问题层面，视频生成中的相机轨迹与光照联合控制要求模型同时解耦几何、运动与光照信号，并保持时间一致性，而现有方法往往在光照逼真度与时间连贯性之间难以权衡；其二，在构建过程中，真实世界缺乏成对的多视角与多光照视频数据，迫使研究团队设计基于退化的合成流程，通过逆几何映射从单目视频中推导训练样本，这一过程需确保生成的配对数据在几何对齐与光照一致性上满足模型训练需求，同时还要处理动态场景运动、深度估计误差以及多样化光照条件模拟等复杂问题。

常用场景

经典使用场景

在计算机视觉与图形学领域，Light-Syn数据集作为Light-X框架的核心训练数据源，其经典应用场景在于为可控视频生成任务提供几何与光照解耦的配对样本。该数据集通过基于退化的合成流程，从真实世界单目视频中构建出具有多视角与多光照变化的训练对，从而支持模型学习在用户指定相机轨迹和光照条件下进行高质量视频重渲染。这一设计使得Light-Syn成为推动联合相机-光照控制研究的关键基础设施，尤其在处理动态场景的视角合成与光照编辑任务中展现出显著价值。

解决学术问题

Light-Syn数据集有效解决了视频生成领域中数据稀缺的核心学术问题。传统方法缺乏成对的多视角与多光照视频数据，难以实现几何与光照信号的解耦建模。该数据集通过逆向映射的退化合成策略，从单目视频中生成具有精确几何对齐和光照变化的训练样本，从而支持模型学习分离场景的几何运动与照明信息。这一贡献不仅突破了真实世界数据采集的瓶颈，还为联合相机轨迹与光照控制提供了可靠的数据基础，推动了可控视频生成技术的理论进展与实际应用。

实际应用

在实际应用层面，Light-Syn数据集支撑的Light-X框架在增强现实、虚拟现实以及影视制作等领域展现出广阔前景。通过实现对单目视频的相机轨迹重定向与光照编辑，该技术能够为用户提供沉浸式的场景重现体验，允许在拍摄后灵活调整视角与照明效果。例如，在电影后期制作中，导演可以基于原始素材生成不同光照氛围下的新视角镜头，显著提升创作自由度与制作效率。此外，该技术还可应用于虚拟试衣、室内设计预览等交互式场景，为用户提供高度可控的视觉内容生成能力。

数据集最近研究

最新研究方向

在计算机视觉与生成式人工智能领域，Light-Syn数据集作为Light-X框架的核心数据引擎，其最新研究方向聚焦于解决可控视频生成中联合相机轨迹与光照编辑这一前沿挑战。该数据集通过一种创新的基于退化与逆向映射的合成流程，从真实世界单目视频中自动构建具有多样化相机视角与光照条件的配对训练数据，有效缓解了多视角多光照视频数据稀缺的瓶颈问题。这一研究方向紧密关联当前视频生成模型向高保真度、强可控性发展的热点趋势，特别是对于实现沉浸式AR/VR体验与智能化影视制作流程具有关键意义。Light-Syn不仅支撑了首个能够从单目视频进行相机与光照联合控制的生成框架Light-X，其数据构建范式也为未来探索更复杂、更逼真的4D场景生成模型提供了可扩展的数据基础，推动了可控视频合成从单一条件控制迈向多模态联合编辑的新阶段。

相关研究论文

• Light-X: Generative 4D Video Rendering with Camera and Illumination Control

  新加坡南洋理工大学S实验室, 北京人工智能研究院, 华中科技大学, 清华大学智能产业研究院, 香港中文大学（深圳）未来网络研究院, 上海交通大学, 宁波诺丁汉大学 · 2025年