LinkTo-Anime

LinkTo-Anime是一个专为2D动画光学流预测而设计的高质量数据集，它通过3D模型渲染生成，包含395个视频序列，共计24,230个训练帧，720个验证帧和4,320个测试帧。该数据集提供了丰富的注释，包括正向和反向光学流、遮挡掩模和Mixamo骨骼。数据集的图像与2D动画生产中的图像特性相符，具有高分辨率和精细的字符细节，以及多视角的字符渲染，以实现更高的多样性。数据集的构建旨在解决现有光学流数据集主要关注现实世界模拟或合成人体运动，而很少针对动画角色运动的问题。LinkTo-Anime is a high-quality dataset specifically designed for 2D animation optical flow prediction. It is generated via 3D model rendering and consists of 395 video sequences, with a total of 24,230 training frames, 720 validation frames, and 4,320 test frames. This dataset provides comprehensive annotations including forward and backward optical flows, occlusion masks, and Mixamo skeletons. The images in this dataset match the visual characteristics of images used in 2D animation production, boasting high resolution and fine-grained character details, as well as multi-view character rendering to enable greater diversity. This dataset was constructed to address the issue that most existing optical flow datasets primarily focus on real-world simulated or synthetic human motion, while rarely targeting animated character motion.

搜集汇总

数据集介绍

构建方式

LinkTo-Anime数据集的构建采用了创新的3D模型渲染技术，通过精心筛选开源3D角色模型并进行手动优化，包括模型细节修复和着色处理。研究团队利用Mixamo骨骼系统为模型注入多样化动作，并从多视角渲染生成帧序列，最终呈现两种风格的2D赛璐璐动画画面——彩色渲染图与线稿图。为确保光学流估计的准确性，数据集提供了基于Blender矢量运动计算的像素级前后向光流真值，以及遮挡掩码和骨骼信息。整个流程涵盖模型获取、预处理、骨骼绑定、动画生成、风格化渲染及多模态标注输出，构建了包含395个视频序列、总计29,270帧的高质量数据。

特点

该数据集具有三大核心特征：首先，其视觉风格严格对齐赛璐璐动画生产标准，采用纯白背景与固定镜头设置，真实还原动画制作中的分层特性；其次，数据规模与质量显著提升，提供1440×2560高分辨率图像，保留角色服饰纹理、发型细节等精细特征；最后，通过为每个3D模型设计五种不同视角（全身/半身/特写等）的渲染方案，实现了外观与动作的双重多样性。与现有动画光流数据集相比，LinkTo-Anime在数据分布上与真实动画生产素材的KL散度仅为0.082，显著优于同类数据集。

使用方法

数据集采用标准的三分法划分（训练集24,230帧/验证集720帧/测试集4,320帧），支持光流估计模型的训练与评估。用户可通过加载彩色帧或线稿序列作为输入，利用提供的双向光流真值进行监督学习。在应用层面，该数据集特别适用于动画生产中的关键任务：基于光流的帧插值可优化中割流程，运动信息能引导线稿上色，而骨骼数据支持角色动作分析。实验表明，使用本数据集微调的PWC-Net模型在s>50像素的大运动区域误差降低8.16，RAFT模型在动画上色任务中使分段准确率提升1.66%，有效验证了其工业应用价值。

背景与挑战

背景概述

LinkTo-Anime数据集由Macau University of Science and Technology、Link-To等机构的研究团队于2025年提出，旨在解决传统光流数据集在赛璐珞动画（cel animation）领域的适用性问题。该数据集通过开源3D模型渲染生成包含24,230帧的高质量2D动画序列，首次针对动画角色运动特性提供前向/后向光流标注、遮挡掩码及Mixamo骨骼数据。作为首个专为赛璐珞动画生产设计的基准数据集，其白背景、多视角渲染等特性显著提升了动画视频生成、线稿上色等下游任务的性能表现，填补了动画制作流程中数字工具链的关键空白。

当前挑战

该数据集面临的核心挑战体现在两个维度：在领域问题层面，传统光流算法难以处理赛璐珞动画特有的扁平化着色、高对比度轮廓线等艺术风格，且现有数据集（如CreativeFlow+）缺乏符合实际生产需求的高分辨率角色细节；在构建过程中，研究团队需攻克3D模型二次拓扑优化、多视角运动轨迹合成等技术难点，特别是保持线稿连续性的同时避免FLAT渲染导致的细节损失。此外，为确保数据分布与真实动画生产一致，需严格约束相机运动仅通过角色动作表达，这对运动捕捉与渲染管线的协同设计提出极高要求。

常用场景

经典使用场景

LinkTo-Anime数据集专为二维赛璐珞动画的光流估计任务而设计，通过渲染开源3D模型生成多样化的角色运动序列，提供了包含前向与后向光流、遮挡掩码及Mixamo骨骼标注的高质量数据。其经典使用场景聚焦于动画制作中的帧间插值与线稿上色任务，例如基于光流引导的中间帧生成技术（如AnimeInterp）和参考帧驱动的自动上色系统（如BasicPBC），这些方法依赖精准的光流预测来实现动画序列的时间连贯性与色彩一致性。

解决学术问题

该数据集解决了赛璐珞动画领域长期存在的三大核心问题：其一，填补了真实世界视频与动画生产文件间的数据鸿沟，其白背景与分层渲染特性精准匹配实际动画制作流程；其二，通过高分辨率（1440×2560）与多视角渲染（全身/半身/特写等）提供了细粒度角色细节，克服了CreativeFlow+模型简单化与AnimeRun细节丢失的缺陷；其三，构建了首个包含Mixamo骨骼信息的动画光流数据集，为运动分析与角色控制研究奠定基础。其标注的像素级对应关系显著提升了光流算法在动画域的泛化能力，如表2所示，基于该数据微调的模型在快速运动区域（s>50像素）误差降低达8.16个像素。

衍生相关工作

该数据集已催生两类标志性研究：技术方法层面，GMA-LT（Global Motion Aggregation微调版）以0.20 EPE刷新动画光流基准，其全局运动聚合机制被后续GMFlow-ANIME等工作扩展；应用系统层面，基于LinkTo-Anime训练的Tooncrafter扩散模型实现了关键帧到完整动画的端到端生成，而AnimDirector多模态代理则利用其骨骼数据开发出角色动作控制系统。相关成果在SIGGRAPH Asia 2024集中展示了五篇论文，形成从底层光流估计到高层动画生成的完整技术矩阵。