SPECSIA-15K

SPECSIA-15K是由韩国科学技术院和中央大学联合创建的面向基于绘图的3D动画新视角增强的风格化数据集。该数据集包含14,980个样本，源自1,498个3DBiCar角色的多视角渲染，每个角色采集10个视角，数据以512×512分辨率的RGBA PNG格式存储，并辅以前景掩膜和位置提示等辅助信号。数据集通过从单视图重建3D模型并重投影至新视角来模拟投影伪影，构建了带伪影的投影与无伪影目标之间的配对监督数据。该数据集旨在解决绘图动画中新视角下轮廓扭曲、纹理缺失等渲染伪影问题，支持训练轻量级后校正模块以提升动画的视角一致性与时序连贯性。SPECSIA-15K is a stylized dataset jointly developed by the Korea Advanced Institute of Science and Technology (KAIST) and Chung-Ang University for novel view enhancement of drawing-based 3D animation. It contains 14,980 samples derived from multi-view renderings of 1,498 3DBiCar characters, with 10 viewpoints captured for each character. All data is stored in RGBA PNG format at 512×512 resolution, supplemented by auxiliary signals including foreground masks and position prompts. The dataset simulates projection artifacts by reconstructing 3D models from single views and reprojecting them to novel views, thereby constructing paired supervised data between artifact-containing projections and artifact-free target samples. This dataset aims to address rendering artifacts such as outline distortion and texture loss in novel views of drawing-based animations, and supports training lightweight post-correction modules to improve the view consistency and temporal coherence of animations.

原始信息汇总

数据集概述

SPECSIA-15K 是一个用于绘画驱动3D动画中新颖视角增强的配对风格化数据集。

数据集规模与构成

• 总样本量：14,980 个配对样本（含投影伪影的输入与对应的无伪影目标）
• 角色数量：1,498 个 3DBiCar 角色
• 视角数量：每个角色 10 个均匀采样的视角
• 数据格式：512 × 512 RGBA PNG 图像
• 输入三元组：(Z, Z mask, Z pos) + 真实目标 Y*

数据集划分

划分	角色数	样本数
训练集	1,298	12,980
验证集	100	1,000
测试集	100	1,000
总计	1,498	14,980

数据集构建方法

1. 对每个角色渲染10个视角作为无伪影真实目标 (Y*)
2. 从前视角重建3D模型
3. 投影到相同视角，生成易产生伪影的输入 (Z)
4. 每个样本包含三元组 (Z, Z mask, Z pos) 与对应的 Y* 配对

许可证说明

数据集仅包含允许重新分发的渲染图像对，不包含原始 3DBiCar 3D 资产和 Mixamo 动作文件。

下载地址

• Hugging Face 数据集：[https://huggingface.co/（具体链接）]

BibTeX 引用

未公布（标注为 TBA）

搜集汇总

数据集介绍

构建方式

在基于单张手绘稿的三维动画生成领域，现有方法常因样本级优化而过度拟合观察视角，难以修复新视角下的投影伪影。为弥补这一监督缺失，SPECSIA-15K数据集应运而生。该数据集基于1,498个3DBiCar卡通角色构建，首先对每个角色在0°至360°范围内均匀采样10个视角，渲染出无伪影的参考图像；接着，从正面视角出发，利用Wonder3D等图像转三维模型重建角色并重新投影至相同10个视角，获得含有线条扭曲、纹理退化等投影伪影的待修复图像。最终，数据集提供14,980对由带伪影的RGB投影、前景掩码与位置提示构成的三元组输入，以及对应的无伪影参考图像，为学习视角鲁棒的投影修正先验提供了规模化监督。

使用方法

SPECSIA-15K主要用于训练和评估面向手绘三维动画的投影修正模型。研究者可利用该数据集预训练一个轻量级的编辑-解码器网络，如基于U-Net的架构。训练时采用分块策略，从图像中随机裁剪32×32的局部区域，结合前景掩码引导采样中心，并通过L1损失、对抗损失与VGG感知损失的组合进行监督，从而学习局部风格线索与伪影修正模式。预训练后，模型可作为一个即插即用的后处理模块，集成到任意上游三维动画管线中，对每帧投影进行修正。针对测试时输入独有的绘画风格，还可执行轻量级适配——在单张参考图上进行一个周期的微调，以更好地对齐颜色、线条等特征，同时保留已习得的修正先验。

背景与挑战

背景概述

SPECSIA-15K数据集由韩国科学技术院（KAIST）和中央大学的研究人员于2026年创建，旨在解决基于单张手绘草图的3D动画生成中的新颖视角增强问题。在计算机图形学领域，从单张2D图像生成3D动画时，输出必须保留角色外观、保持物理合理性并具备时间连贯性，然而现有基于样本的2D细化方法容易过拟合至观测视角，无法有效修正投影伪影。该数据集包含从1498个3DBiCar角色渲染的14980对伪影损坏投影与优化目标配对，为学习跨角色、动作和视角的修正先验提供了规模化监督，显著推动了绘图式3D动画的视角一致性研究。

当前挑战

该数据集面临的挑战体现在两个层面：首先，在领域问题层面，现有基于样本的2D细化方法因视角依赖的投影伪影（如缺失轮廓、散斑状纹理）导致新颖视角质量严重下降，且难以在多角色、多运动条件下泛化修正；其次，在数据集构建过程中，需系统性地从同一角色生成多视角下伪影损坏与无伪影的配对数据，这涉及复杂的3D重建、自动骨架绑定及渲染管线，同时需克服角色风格多样性（如线条粗细、调色板差异）带来的数据偏差。此外，如何确保数据集捕捉到足够丰富的投影错误模式，以支持模型学习通用修正先验而非特定后修复噪器，亦是关键挑战。

常用场景

经典使用场景

SPECSIA-15K数据集专为基于手绘的三维动画中的新视角增强任务而设计，其核心用途在于为投影伪影校正提供大规模成对监督。该数据集包含来自1,498个三维卡通角色的14,980组图像对，每组由伪影污染的二维投影及其对应的清晰渲染目标构成，覆盖10个均匀采样的视角。研究者可借助该数据集训练轻量级后校正模块，以消除因视角变化导致的轮廓缺失、纹理失真及斑点状伪影，同时保留输入绘图的风格特征。这一经典使用场景使得数据驱动的先验学习成为可能，突破了以往样本级优化局限于观察视角的瓶颈，为提升动画在多视角下的视觉保真度与时间连贯性奠定了基准。

解决学术问题

该数据集有效解决了基于单幅图像的三维动画管线中，因样本级优化过度拟合观察视角而无法校正新视角投影伪影的学术难题。传统方法通过逐样本对齐输入图像与渲染投影，虽在正面视角效果良好，但面对未见视角时，由于三维渲染与二维投影引入的系统性误差，常出现轮廓缺失、纹理模糊等退化现象。SPECSIA-15K通过提供跨角色、跨视角的成对标注，使模型能够学习泛化性更强的校正先验，而非依赖单一角色的局部优化。这一突破显著提升了新视角下的语义一致性（CLIP分数）与分布保真度（FID指标），为手绘风格的三维动画研究提供了可扩展的监督范式，推动了动画生成领域从样本级微调向数据级预训练的转变。

实际应用

在实际应用中，SPECSIA-15K驱动的DraViE模块可作为即插即用的后处理组件，无缝集成于现有基于手绘的三维动画生产流程。对于动画师或内容创作者而言，仅需提供单张角色绘图，系统便能通过三维重建与骨骼绑定生成多视角动画，而DraViE会自动校正因视角变化产生的各类伪影，同时忠实保留原始手绘风格，如线条粗细、色彩层次与纹理质感。该方案尤其适用于虚拟角色创作、数字人动画及教育娱乐内容生产等场景，可在不增加手绘工作量或修改上游管线的前提下，显著提升动画在非正面视角下的观感质量与运动连贯性，有效降低人工逐帧修正的成本与时间开销。

数据集最近研究

最新研究方向

SPECSIA-15K数据集的构建标志着在基于单张手绘草图的3D动画领域，研究焦点正从样本级逐帧优化转向数据驱动的先验学习。前沿研究致力于克服传统方法在新视角渲染中因投影畸变导致的轮廓缺失、纹理斑驳与局部模糊等固有问题。该数据集通过1,498个3DBiCar角色及其多视角成对样本，为学习跨角色、跨视角的投影伪影校正提供了规模化监督。结合DraViE轻量化即插即用模块，研究实现了在保持输入画风与运动合理性的同时显著提升新视角保真度与时序一致性，降低了逐角色适配成本，为手绘动画产业的自动化与高质量生成奠定了数据与算法基础。

相关研究论文

• SPECSIA: Stylization Dataset for Novel-View Enhancement in Drawing-based 3D Animation

  韩国科学技术院·电气工程学院; 中央大学·人工智能系 · 2026年