DreamStyle3D dataset

该数据集由南开大学与京东探索研究院等机构联合构建，旨在支持高效3D风格化资产生成的模型训练与评估。数据集规模约为15,000条高质量三元组样本，每条包含内容图像、风格图像及对应的风格化3D资产，数据通过自动化流水线生成，即利用现有2D风格化方法合成风格化图像，再经预训练3D生成模型转化为3D对象并筛选高保真样本。该数据集主要应用于计算机视觉与图形学领域，为原生3D风格化研究提供标准化监督数据，以解决风格与几何特征解耦、生成效率与保真度平衡等关键问题。This dataset was jointly constructed by Nankai University, JD Explore Academy and other institutions, aiming to support model training and evaluation for efficient 3D stylized asset generation. The dataset contains approximately 15,000 high-quality triplet samples, each consisting of a content image, a style image, and the corresponding stylized 3D asset. The data is generated through an automated pipeline: existing 2D stylization methods are used to synthesize stylized images, which are then converted into 3D objects via a pre-trained 3D generation model, followed by screening for high-fidelity samples. This dataset is primarily applied in the fields of computer vision and computer graphics, providing standardized supervised data for native 3D stylization research to address key challenges including the decoupling of style and geometric features, and the balance between generation efficiency and fidelity.

原始信息汇总

数据集概述

DreamStyle3D 是一个用于高效生成风格化3D资产的数据集与框架，旨在从内容图像和风格图像中联合保持风格保真度、几何一致性和生成效率。

核心特性

• 解耦双交叉注意力机制：显式分离几何与风格特征，实现高效的风格注入并保持结构一致性。
• 轻量训练策略：增强风格一致性和模型泛化能力。
• 自动化数据管线：构建了约 15,000 个内容-风格-风格化三元组的数据集，用于训练与评估。
• 高效生成：可在 10秒内 生成高保真、几何一致的风格化3D资产。

数据集内容

• 规模：约 15K 个内容-风格-风格化三元组。
• 构建方式：基于官方 TRELLIS 数据预处理管线（下载并处理3D资产、渲染条件图像、提取DINO特征、编码结构潜变量），再通过定义内容/风格对（CSV文件）构建配对数据集。

使用说明

• 训练数据准备：
  • 需提供内容图像、风格图像及各样本的TRELLIS结构潜变量。
  • 使用 scripts/prepare_training_pairs.py 脚本从TRELLIS原始数据生成配对数据集。
• 预训练权重：提供 DreamStyle3D 检查点（替换 TRELLIS 的第二阶段结构潜变量流模型），可从 Hugging Face 仓库 jiangmu/DreamStyle3D 下载。

引用

bibtex @inproceedings{wang2026dreamstyle3d, title={DreamStyle3D: Efficient 3D Stylized Asset Generation via Dual-Attention Disentanglement}, author={Wang, Kai and Ouyang, Ziheng and Zhang, Xuying and Hou, Qibin and Cheng, Ming-Ming}, booktitle={34th ACM International Conference on Multimedia}, year={2026} }

许可证

• DreamStyle3D 原始贡献采用 Creative Commons Attribution-NonCommercial 4.0 International License。
• 衍生自 TRELLIS 的部分保留 MIT License。
• 第三方组件、预训练权重及数据集遵循各自许可条款。

搜集汇总

数据集介绍

构建方式

DreamStyle3D数据集采用全自动化的三元组数据生成管道构建。首先，从Objaverse和Toys4K数据集中选取单物体模型并渲染正交视图作为内容图像，随后与OmniStyle-150K数据集中的风格图像随机配对。利用OmniStyle模型生成风格化的2D图像，再经Hunyuan3D-2.1模型提升至3D空间，结合几何重建与风格条件纹理合成。最终经过两阶段质量筛选，获得约15K组内容-风格-风格化资产三元组，并预设11K用于训练、4K用于测试的标准划分。

特点

该数据集具有三大突出特点：其一，自动化构建流程与大规模数据规模（约15K三元组）为3D风格化模型提供了标准化监督信号与评测基准；其二，覆盖丰富的物体类别与艺术风格，风格多样性源自大规模风格数据集OmniStyle-150K；其三，通过2D风格化筛选与3D资产质量评估的两阶段过滤机制，确保了内容保真度、风格一致性及渲染稳定性的高水平融合。

使用方法

数据集以内容-风格-风格化资产三元组形式提供，适用于端到端3D风格化模型的训练与评估。训练阶段，可将内容图像与风格图像作为模型输入，风格化3D资产作为监督信号，优化解耦式双交叉注意力模块等轻量参数。测试阶段，可直接输入任意内容图像与风格图像，由模型在约10秒内生成高保真3D风格化资产。配套提供11K训练集与4K测试集的明确划分，支持标准化的定量比较。

背景与挑战

背景概述

DreamStyle3D数据集由南开大学视觉计算与智能感知实验室联合京东探索研究院于2026年提出，旨在解决三维风格化资产生成中风格保真度、几何一致性与生成效率难以兼得的核心问题。该数据集包含约15,000组“内容-风格-风格化”三元组，依托自动化数据流水线，融合Objaverse与Toys4K中的三维模型与OmniStyle-150K的风格样本，经二维风格迁移与三维重建生成。作为首个大规模配对三维风格化数据集，它为端到端训练与标准化评估提供了关键支撑，推动了从间接二维到三维风格化向原生三维空间直接生成的范式转变。

当前挑战

当前三维风格化领域面临双重挑战。其一，现有方法多依赖间接的二维到三维流水线，风格与几何特征在共享注意力通路中相互纠缠，导致视觉伪影与结构失真，难以在保持目标对象拓扑细节的同时忠实传递参考图像的纹理与笔触统计。其二，构建大规模配对三维风格化数据面临天然瓶颈：直接从三维场景获取（内容、风格、风格化）三元组极其困难，而现有的二维风格化模型与三维重建模型的级联易产生误差累积，需要精巧的过滤策略来剔除低质量样本，确保最终数据集的视觉保真度与风格一致性。

常用场景

经典使用场景

DreamStyle3D数据集的核心用途在于为图像驱动的3D风格化资产生成提供标准化的训练与评估基准。该数据集以（内容图像、风格图像、风格化3D资产）的三元组形式呈现，覆盖约1.5万个高质量样本，尤其适合用于训练原生3D空间中的风格迁移模型。通过引入解耦双交叉注意力机制，研究人员可基于此数据集实现几何结构保持与风格特征注入的显式分离，从而在秒级时间内生成高保真的风格化3D对象。该数据集的经典使用场景聚焦于将任意给定内容图像与风格参考图像结合，直接生成具有一致视觉风格且几何细节完整的3D网格或高斯点云，为数字内容创作中的风格化管线提供了端到端的解决方案。

解决学术问题

该数据集有效填补了大规模配对3D风格化训练数据的空白，解决了长期以来制约该领域发展的两大核心瓶颈：风格与几何特征的纠缠导致的视觉伪影，以及训练与测试数据分布不一致带来的泛化困难。现有方法多依赖间接的2D到3D风格化流水线，难以同时保证风格保真度、几何一致性与生成效率。DreamStyle3D数据集通过自动化数据生成流水线，基于2D风格化模型与3D重建模型产出经严格筛选的三元组样本，为显式解耦几何与风格特征的原生3D风格化框架提供了可靠的监督信号。其发布推动了风格化3D生成从间接范式向直接原生范式的学术演进，显著提升了模型在风格表达可控性与几何结构稳定性方面的表现。

衍生相关工作

围绕DreamStyle3D数据集，学术界已衍生出一系列具有影响力的经典工作。在风格-几何解耦方向，研究者借鉴其解耦双交叉注意力设计，提出了基于不同类型先验编码器的多分支注意力融合框架，进一步提升了复杂纹理与精细几何之间的分离精度。数据增强方面，其提出的结构感知扰动与前景色彩重映射策略被后续工作扩展为通用化解耦增强模块，用于缓解跨域风格迁移中的语义漂移问题。在生成效率方向，该数据集催生了若干轻量级微调方法，如将预训练3D生成模型的风格适应能力与LoRA或Adapter结构结合，实现对多种风格的低参数量适配。此外，基于该数据集构建的自动评估协议亦被多篇论文采纳，成为衡量3D风格化质量的重要参考基准。