cyberagent/crello-animation

Crello Animation数据集是一个动画图形的集合。动画图形是由多个精灵组成的视频，每个精灵通过动画纹理渲染。纹理是静态图像，动画涉及时间变化的仿射扭曲和透明度变化。原始模板从create.vista.com收集，并转换为适合机器学习分析的低分辨率格式。数据集主要用于机器学习的动画图形研究，特别是精灵分解任务。The Crello Animation dataset is a collection of animated graphics, primarily used for sprite decomposition tasks. Each instance in the dataset contains attributes such as id, canvas dimensions, number of frames and sprites, textures, matrices, and opacity. The dataset is split into validation and test sets, with a total of 154 and 145 instances respectively. The data is sourced from create.vista.com and is intended for machine learning analysis of animated graphics.

原始信息汇总

Crello Animation 数据集概述

数据集描述

数据集摘要

Crello Animation 数据集是一个包含动画图形的集合。每个动画由多个精灵组成，每个精灵通过动画纹理渲染。纹理是静态图像，动画涉及时间变化的仿射变换和透明度。原始模板从 create.vista.com 收集，并转换为适合机器学习分析的低分辨率格式。

支持的任务

该数据集主要用于研究精灵分解任务，相关研究将在 ECCV 2024 上发表。

数据集结构

数据实例

每个实例包含以下属性：

• id: 字符串，模板ID。
• canvas_width: 整数，画布像素宽度。
• canvas_height: 整数，画布像素高度。
• num_frames: 整数，帧数。
• num_sprites: 整数，精灵数。
• texture: 图像序列，每个精灵的纹理（256x256 RGBA 图像）。
• matrix: 浮点数序列，时间变化的仿射变换矩阵。
• opacity: 浮点数序列，时间变化的透明度。

数据分割

数据集包含两个分割：

• val: 154 个实例。
• test: 145 个实例。

数据集创建

数据来源

数据集最初从 crello.com 抓取，并预处理为上述格式。模板由特定的设计工作室创建。

个人信息

数据集不包含创建者的个人信息，但可能包含设计模板中的人物图片。

使用数据集的注意事项

社会影响

该数据集旨在促进动画图形的机器学习研究，预期有助于支持设计师的创意任务，如精灵分解。

偏见讨论

数据集中的模板反映了源数据中的偏见，可能在特定设计类别中表现出性别偏见。

其他已知限制

由于源数据规范未知，纹理和动画参数不一定准确再现原始设计模板。

附加信息

数据集许可证

数据集根据 CDLA-Permissive-2.0 许可证 分发。

引用信息

相关研究将在 ECCV 2024 上发表。

搜集汇总

数据集介绍

构建方式

在计算机视觉与图形学领域，动画图形作为由多个精灵（sprite）通过随时间变化的仿射扭曲与透明度渲染而成的视频序列，其结构化分解对理解动态视觉内容至关重要。Crello Animation数据集正是为促进此类研究而构建，其原始素材来源于create.vista.com平台的设计模板。构建过程中，首先对模板进行爬取与归一化处理，将每个动画实例转化为包含纹理图像、时变仿射矩阵及透明度参数的结构化表示。纹理被统一为256×256的RGBA图像，仿射矩阵与透明度则记录了每个精灵在50帧（对应5秒、10帧/秒）内的动态变化。数据集的生成旨在服务于精灵分解等机器学习任务，最终形成了包含154个验证样本与145个测试样本的高质量评估集合。

特点

该数据集的核心特点在于其结构化的多精灵动画表示。每个样本均包含明确的画布尺寸、精灵数量及帧数，其中首个精灵固定为静态背景，其矩阵与透明度恒为单位矩阵与1，从而简化了前景与背景的分离。仿射矩阵被归一化至[-1, 1]的规范空间，便于与PyTorch等深度学习框架的渲染管线无缝对接。纹理以图像列表形式存储，而透明度与矩阵则分别以二维与三维浮点张量记录时序变化。值得注意的是，数据集专为评估而非训练设计，样本规模虽小（共299例），但每个实例均经过精心标注，确保了在精灵分解任务中的可靠基准价值。此外，数据集中可能包含设计模板原有的性别等社会偏见，使用时应予以关注。

使用方法

使用该数据集时，可借助HuggingFace Datasets库通过一行代码`load_dataset("cyberagent/crello-animation")`便捷加载，并自动划分为验证集与测试集。推荐利用PyTorch的`torch.nn.functional.affine_grid`与`grid_sample`函数，结合提供的`render_layers`与`alpha_blend_torch`渲染管线，将结构化参数还原为动画帧序列。具体而言，需将纹理、矩阵与透明度转换为张量，通过逆矩阵生成采样网格，对纹理进行扭曲与透明度加权，再经由Alpha混合逐层合成最终画面。数据集以CDLA-Permissive-2.0许可证发布，使用者须遵守VistaCreate许可协议，且原始模板的版权仍归设计工作室所有。

背景与挑战

背景概述

在数字内容创作领域，动画图形作为动态视觉传达的核心载体，广泛应用于广告、社交媒体和用户界面设计。然而，从复杂的动画视频中逆向解析出构成动画的独立精灵（sprites）及其运动参数，始终是计算机视觉与图形学交叉领域的一项基础性难题。为此，CyberAgent研究团队在ECCV 2024上提出了Crello Animation数据集，由Tomoyuki Suzuki等人主导创建。该数据集源自VistaCreate平台的设计模板，经过精心预处理，包含299个动画示例，每个示例由多个精灵、随时间变化的仿射变换矩阵及透明度参数构成。其核心研究问题聚焦于“快速精灵分解”，旨在从渲染后的动画帧中精确恢复出独立的纹理层及其动画轨迹。该数据集的问世为动画逆向工程提供了首个标准化评测基准，有力推动了智能设计辅助技术的发展。

当前挑战

Crello Animation数据集所面临的挑战主要体现在两个层面。在领域问题层面，精灵分解任务需应对动画中精灵间的复杂遮挡与透明叠加效应，以及仿射变换参数的连续性和非刚性运动带来的解空间模糊性；同时，现有方法在计算效率与分解精度间存在显著权衡，难以满足实时设计场景的需求。在数据集构建过程中，挑战同样严峻：原始模板的动画参数规格未知，导致纹理与运动参数的转换存在误差；此外，数据集规模较小（仅299例），主要适用于评测而非训练，限制了深度学习模型的泛化能力。更棘手的是，原始设计模板可能包含人物肖像等敏感信息，且存在特定设计类别的性别偏见，这些数据偏差需在后续研究中审慎处理。

常用场景

经典使用场景

在计算机视觉与图形学交叉领域，Crello Animation数据集为动态图形分解任务提供了标准化评测基准。其核心应用场景聚焦于从多精灵动画序列中逆向解构出独立的纹理贴图、时变仿射变换矩阵以及透明度参数，这一过程被形式化为“精灵分解”（Sprite Decomposition）问题。研究者可借助该数据集的299个精心标注的动画实例（涵盖154个验证样本与145个测试样本），系统评估模型在分离静态背景与动态前景、还原子图层运动轨迹等方面的性能。数据集中每个样本包含50帧固定时长动画，并以规范化仿射矩阵和透明度序列记录运动参数，为解耦纹理与运动信息提供了理想载体。

衍生相关工作

围绕Crello Animation数据集，学术界已涌现出一系列开创性工作。Suzuki等人提出的Fast Sprite Decomposition方法（ECCV 2024）首次在该基准上实现了实时分解，通过设计轻量级神经网络架构将处理速度提升至毫秒级，奠定了该领域的技术基线。后续研究进一步拓展了数据集的适用范围，包括将分解结果用于动画风格迁移、基于实例的动画生成以及动态纹理合成等任务。部分工作探索了将精灵分解与神经渲染管线结合，实现了从静态设计稿到动态动画的自动化生产。这些衍生研究不仅验证了数据集作为通用评测平台的价值，更推动了动画内容理解从分析到合成的范式演进。

数据集最近研究

最新研究方向

当前，动画图形领域的前沿研究正聚焦于从复杂动态视觉内容中高效分解出独立运动元素，即精灵分解任务。Crello Animation数据集的发布恰逢其时，它由299个包含纹理、仿射变换矩阵及透明度时序信息的动画模板构成，为探索基于深度学习的非监督式动画分解提供了标准化评估基准。该数据集直接支撑了ECCV 2024发表的《Fast Sprite Decomposition from Animated Graphics》工作，其中提出的快速分解方法在保持高保真渲染的同时显著降低了计算开销，有望赋能设计师在图形编辑、自动动画生成等创意工具中实现更智能的素材解耦与重构。这一进展不仅推动了计算机视觉与图形学的交叉融合，也为自动化视觉内容生产链路的革新奠定了重要数据基础。