Live2K

Live2K数据集是由电子科技大学、欧珀研究院和香港理工大学联合构建的首个面向Live Photo重选与增强任务的大规模真实世界数据集，共包含2,042个Live Photo样本，涵盖人像、建筑、自然景观和室内场景等多种类别。该数据集使用iPhone 16 Pro和OPPO Find X8 Pro两款智能手机采集，每样本包含一张高质量封面图像及其对应的视频序列，封面图像分辨率分别为4032×3024和4096×3072，视频帧分辨率分别为1920×1440和1728×1296，通过分组采集策略构建了视觉相似但非相同的图像组以支持跨实例引导。数据集构建过程通过SIFT算法进行像素级对齐和视角校正，最终形成包含训练对和测试对的配对数据，旨在解决智能手机Live Photo中封面图像与视频帧之间存在分辨率、色彩保真度和动态范围质量差距的问题，为Live Photo封面帧重选与增强研究提供基准支持。The Live2K dataset is the first large-scale real-world dataset dedicated to the tasks of Live Photo re-selection and enhancement, jointly constructed by the University of Electronic Science and Technology of China, OPPO Research Institute, and The Hong Kong Polytechnic University. It comprises a total of 2,042 Live Photo samples, covering various categories such as portraits, architecture, natural landscapes, and indoor scenes. This dataset was collected using two smartphone models: iPhone 16 Pro and OPPO Find X8 Pro. Each sample contains a high-quality cover image and its corresponding video sequence, with the cover images having resolutions of 4032×3024 and 4096×3072 respectively, and the video frames having resolutions of 1920×1440 and 1728×1296 correspondingly. A grouped collection strategy was employed to create visually similar but non-identical image groups to support cross-instance guidance. During the dataset construction process, pixel-level alignment and perspective correction were performed using the SIFT algorithm, ultimately yielding paired data consisting of training pairs and test pairs. This dataset aims to address the gaps in resolution, color fidelity, and dynamic range quality between the cover image and video frames in smartphone Live Photos, and provide benchmark support for research on Live Photo cover frame re-selection and enhancement.

原始信息汇总

数据集简介

Live2K 是一个用于“Live Photo 封面帧重选与增强（LPRE）”任务的真实世界数据集，由电子科技大学计算机视觉实验室（CVL-UESTC）构建，相关论文被 ECCV 2026 接收。

核心任务

• LPRE 任务：给定用户重新选择的低质量帧、其相邻视频帧以及原始高质量封面图像作为参考，目标是重建一张高质量替换封面帧，提升细节、色彩和动态范围。

数据集规模与构成

• 规模：包含 2,042 张 Live Photos。
• 数据结构：每个 Live Photo 样本为一个子文件夹，包含：
  • gt.png：高质量目标帧。
  • ref.png：原始高质量封面图像（参考）。
  • lq_sequence/：9 张低质量相邻视频帧（按文件名时间顺序排序，均为 .png 格式）。

文件组织格式

Live2K_root/ ├── 000001/ │ ├── gt.png │ ├── ref.png │ └── lq_sequence/ │ ├── 000.png │ ├── 001.png │ ├── ... │ └── 008.png ├── 000002/ │ ├── gt.png │ ├── ref.png │ └── lq_sequence/ │ ├── 000.png │ ├── ... │ └── 008.png └── ...

获取方式

• 下载链接：百度网盘
• 提取码：sprq
• 完整数据集将稍后发布。

技术特点

• 多帧时间融合。
• 封面引导色彩与外观增强。
• 参考引导超分辨率。
• 提供统一的单阶段基线方法。

关键词

Live Photo, 图像增强, 图像超分辨率, 封面帧重选, Live2K

搜集汇总

数据集介绍

构建方式

Live2K数据集由2,042张真实世界Live Photo构成，使用iPhone 16 Pro和OPPO Find X8 Pro两部智能手机捕获，每张Live Photo包含一张高质量封面图像及其对应的短视频序列。封面与视频帧由不同成像管线产生，导致分辨率、色彩保真度和动态范围存在固有差异。数据集以分组方式采集，每组包含多张内容相似但视角、构图略有差异的Live Photo，使封面可作为彼此引导图像。随后，通过SIFT算法在封面与视频帧之间进行像素级匹配，并基于单应性矩阵将封面扭曲对齐至匹配帧的视角以获取真值图像，同时选取匹配帧的前后各四帧构成9帧输入序列。最终形成1,620张训练图像（3,240对）与422张测试图像（211对）的配对数据，并依据设备分别训练与测试。

特点

Live2K数据集具有多项独特优势。作为首个专用于Live Photo封面帧重选与增强任务的大规模真实数据集，其真实世界采集方式确保了数据分布的实际应用相关性。数据集涵盖了人像、建筑、自然景观和室内场景等多类场景，且不同设备成像管线的差异使得数据具有丰富的退化多样性。通过分组采集策略，封面图像与低质量视频帧之间具有强内容相似性但非完全一致，贴近真实应用场景。此外，得益于Live Photo独特的成像机制，真值图像与低质量帧来自同一传感器且时间接近，空间错位问题显著减轻，无需额外对齐技术即可获得高质量重建效果。

使用方法

该数据集专为Live Photo封面帧增强任务设计。使用时，用户可从视频序列中选取一张质量欠佳的帧（如闭眼或表情不佳）作为目标输入，同时利用同一Live Photo的高质量封面图像作为引导参考。使用者可将低质量帧与相邻多个视频帧（共9帧）组成多帧输入序列，并联合封面图像一起输入模型。数据集提供了配对的高质量真值图像用于监督学习，并包含引导图像（源自同一组内另一Live Photo的封面）。建议采用多帧融合与引导增强相结合的联合框架，同时进行色彩校正和超分辨率重建。由于设备ISP管线差异显著，建议针对各设备子数据集分别训练专用模型。

背景与挑战

背景概述

在现代智能手机摄影领域，Live Photo功能通过同步捕获静态图像与短时视频片段，为用户提供了更具沉浸感与叙事性的拍摄体验。然而，其成像链路存在本质割裂：照片流经过多帧融合、高比特深度RAW处理等完整计算摄影流程，输出高质量的封面图像；而视频流受限于实时性与存储约束，仅依赖单帧RAW数据进行轻量化处理，导致视频帧在分辨率、色彩保真度与动态范围上显著劣于封面。当用户因封面时刻欠佳（如眨眼、表情不当）而重新选择视频帧作为替代时，所选帧的严重质量退化直接破坏了视觉体验。为攻克这一实际痛点，电子科技大学、OPPO研究院与香港理工大学的研究团队于2026年联合提出了Live2K数据集，首次系统定义了实况照片封面帧重选与增强（LPRE）任务，旨在利用同一实况照片内高质量封面图像的结构与色彩先验，结合邻近帧的时序线索，对低质量重选帧进行空间细节与颜色外观的联合修复。该数据集包含2042组真实场景实况照片，覆盖人像、建筑、风景与室内等多元化场景，为跨质量引导的超分辨率与色彩增强研究建立了首个标准化基准，对推动移动摄影中的联合图像修复技术具有里程碑意义。

当前挑战

Live2K数据集所面对的挑战源于实况照片成像系统的固有缺陷，具体体现为以下层面。首先，LPRE任务要求算法同时解决分辨率提升、色彩校正与动态范围扩展三个耦合问题，其复杂度远超传统的单一超分或色彩增强任务，需设计统一框架实现多目标联合优化。其次，视频帧与封面图像间存在跨成像管线的非对齐退化，包括非整数倍缩放、色域映射差异及色调崩塌，这使得基于配准的引导修复方法极易因几何或光度偏差而失效。再次，数据集构建过程面临严峻挑战：实况照片具有设备特异性，其内部ISP管线为厂商专有，需通过两套不同智能手机系统（iPhone与OPPO）进行采集，并依赖SIFT特征匹配与时序对齐算法在9帧序列中精准定位对应低质量帧，同时需保证引导图像与靶帧间具有像素级语义对应性——因视角与运动差异，这一对齐流程需引入单应性变换与相似性阈值筛选，引入了额外的几何失真风险。此外，当前数据集主要涵盖日间场景，低光照条件下的长曝光、噪点、丢帧与运动模糊等退化模式未被覆盖，这限制了模型在夜间环境下的泛化能力。最终，设备间ISP硬件与算法的显著差异使得跨设备迁移成为难题，真实场景下需通过少量样本微调才能实现领域适应，揭示了当前方法在跨管线鲁棒性上的局限性。

常用场景

经典使用场景

Live2K数据集专为实况照片中重选封面帧的增强任务而构建，其核心应用场景在于当用户从视频序列中选取替代帧时，需对该低质量帧进行同时包含空间细节恢复与色彩外观校正的综合提升。该数据集完美模拟了用户在实际使用中因抓拍瞬间不理想而重选封面的真实需求，为模型提供了高质量封面作为结构及颜色参考，并辅以相邻视频帧作为时序上下文，从而实现了从退化帧到高质量封面的精细化重建。这一场景定义了全新的实况照片封面帧重选与增强任务，为智能手机摄影领域开辟了极具实用价值的研究方向。

实际应用

在移动摄影领域，Live2K数据集直接服务于智能手机实况照片功能的体验升级。当用户尝试将不完美的自动封面替换为视频中更佳瞬间时，该数据集训练的模型能够自动修复重选帧在分辨率、色彩饱和度和动态范围上的严重退化，呈现与原始封面一致的视觉品质。此技术可无缝嵌入手机相册编辑系统，实现一键式的封面智能优化，大幅提升用户对动态摄影内容的满意度。此外，其蕴含的多帧融合与参考引导理念，还可延伸至视频通话增强、短视频后期修复等对空间与色彩质量有严苛要求的消费级影像场景。

衍生相关工作

围绕Live2K数据集，研究者已衍生出若干创新性工作，涵盖了实况照片增强领域的多个关键方向。其中，基于该基准提出的LPENet基线模型开创性地整合了时序空间注意力融合、引导色彩调制与纹理迁移三大模块，为后续研究提供了统一的单阶段框架。在此基础上，相关工作进一步探索了跨设备泛化微调策略，仅使用少量目标设备样本即可实现显著的性能迁移。此外，数据集所定义的重选帧引导增强范式，也启发了一系列关于融合多模态先验信息的图像复原方法，促使学术界开始关注智能手机特有成像管线带来的系统性退化问题。