MajutsuDataset

MajutsuDataset是由中山大学构建的高质量多模态城市生成数据集，集成了二维语义布局与建筑高度图、多样化三维建筑资产以及专业级PBR材质与天空盒。该数据集包含数千个文本对齐的布局/高度图对，涵盖风格多样的几何约束三维资产，并配备精心策划的物理渲染材质库。数据集通过结构化流程构建，整合了语义分割、几何生成与材质合成技术，主要应用于三维城市生成领域，旨在解决语言驱动场景生成中结构一致性、风格多样性与材质真实性的核心挑战。

MajutsuDataset is a high-quality multimodal urban generation dataset constructed by Sun Yat-sen University. It integrates 2D semantic layouts and building height maps, diverse 3D architectural assets, as well as professional-grade PBR materials and skyboxes. This dataset contains thousands of text-aligned layout/height map pairs, covers geometrically constrained 3D assets with diverse styles, and is equipped with a carefully curated physically based rendering material library. Constructed through a structured workflow, the dataset integrates semantic segmentation, geometry generation, and material synthesis technologies. It is mainly applied in the field of 3D urban generation, aiming to address core challenges in language-driven scene generation: structural consistency, style diversity, and material authenticity.

原始信息汇总

MajutsuCity 数据集概述

数据集名称

MajutsuCity

核心描述

语言驱动的美学自适应城市生成，具有可控的3D资源和布局

数据集状态

• 待发布 MajutsuDataset
• 待发布 MajutsuCity
  • 待发布布局生成模型
  • 待发布材质纹理微调模型
  • 待发布框架代码
• 待发布 MajutsuAgent 代码

相关资源

• 论文地址：https://arxiv.org/abs/2511.20415
• GitHub仓库：https://github.com/LongHZ140516/MajutsuCity
• 项目页面：https://longhz140516.github.io/MajutsuCity/

引用信息

bib @misc{huang2025majutsucitylanguagedrivenaestheticadaptivecity, title={MajutsuCity: Language-driven Aesthetic-adaptive City Generation with Controllable 3D Assets and Layouts}, author={Zilong Huang and Jun He and Xiaobin Huang and Ziyi Xiong and Yang Luo and Junyan Ye and Weijia Li and Yiping Chen and Ting Han}, year={2025}, eprint={2511.20415}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2511.20415}, }

搜集汇总

数据集介绍

构建方式

在三维城市生成领域，数据集的构建质量直接决定了模型的泛化能力与可控性。MajutsuDataset通过多模态数据整合策略构建而成：其布局与高程子集基于OpenStreetMap采集了13,300组涵盖五大洲不同建筑风格的样本，每组包含512×512像素的语义布局图与建筑高度图，并采用GPT-5-mini生成细粒度文本描述；三维建筑资产子集通过五大商用生成系统创建了涵盖十种建筑风格的千个模型；材质资产库则整合了2,300组无缝PBR材质与千组HDR天空盒，所有资源均配备自动化生成的语义元数据。

使用方法

针对三维城市生成任务，该数据集支持端到端的可控生成流程。研究者可基于文本提示生成语义布局与高度图，进而通过实例化建筑资产与材质映射构建可渲染场景。具体应用中，布局生成模块依赖长文本编码器解析空间描述，资产合成阶段引入图像与点云双重约束保障几何一致性，场景组合则采用分层实例化策略。该数据集还可用于评估生成场景的结构一致性、材质保真度等维度，为三维城市生成研究提供标准化基准。

背景与挑战

背景概述

MajutsuDataset由中山大学研究团队于2025年提出，作为MajutsuCity框架的核心数据基础，旨在推动语言驱动的三维城市生成研究。该数据集整合了多模态数据资源，包括二维语义布局与高度图、多样化三维建筑资产以及物理渲染材质库，为可控且美学自适应的城市场景合成提供全面支持。其创新性在于首次将细粒度文本对齐与大规模三维资产生成相结合，有效解决了传统方法在风格多样性和结构可控性之间的平衡难题，对虚拟现实、数字内容创作等领域具有重要推动作用。

当前挑战

在三维城市生成领域，核心挑战在于实现宏观几何逻辑与微观美学意图的协同表达，同时确保多视角一致性和对象级可编辑性。MajutsuDataset构建过程中面临多重挑战：其一，需克服二维布局数据与三维资产间的语义对齐难题，通过GPT-5-mini生成细粒度文本描述以建立精确的跨模态关联；其二，复杂建筑拓扑结构的几何约束要求融合图像与点云双重监督机制，保障生成资产的结构合理性；其三，材质库需满足无缝平铺与物理渲染要求，通过专业级PBR纹理与HDR天空球提升场景真实感。

常用场景

经典使用场景

在三维城市生成领域，MajutsuDataset作为高质量多模态数据集，为语言驱动的美学自适应系统提供核心支持。该数据集整合了二维语义布局图、建筑高度图、多样化三维建筑资产以及物理渲染材质，构建了从文本描述到三维场景的完整数据链路。其经典应用场景体现在通过自然语言指令生成大规模、风格可控的城市景观，例如根据“夕阳下粉色调的繁华商业区”等复杂提示词，自动合成具有几何一致性和视觉连贯性的三维城市模型。

解决学术问题

MajutsuDataset有效解决了三维城市生成中文本控制与几何精度难以兼顾的学术难题。传统方法如隐式神经表示存在多视角不一致问题，而程序化生成受限于预设资源库的多样性。该数据集通过细粒度文本-布局对齐机制，突破了生成场景的结构可控性瓶颈，在布局FID指标上相较CityDreamer降低83.7%。其提供的形状约束生成机制与多维度评估体系，为三维场景的结构一致性、材质真实性和光照合理性建立了新的研究基准。

实际应用

该数据集在虚拟现实构建与数字孪生领域展现显著应用价值。通过集成MajutsuAgent交互编辑代理，支持对生成场景进行对象级的增删改移操作，满足游戏开发与城市规划的实时调整需求。其提供的无缝平铺PBR材质库与HDR天空盒，能够直接应用于影视级渲染管线，实现从概念设计到成品输出的全流程支持。在机器人仿真测试中，该方法生成的结构化场景为自主导航算法提供了物理可信的训练环境。

数据集最近研究

最新研究方向

在三维城市生成领域，MajutsuDataset作为支撑语言驱动美学自适应框架的核心多模态数据集，正推动研究向可控布局生成与交互式编辑的深度融合方向发展。当前前沿聚焦于利用自然语言解析技术实现从宏观几何逻辑到细粒度建筑属性的端到端控制，通过整合长文本视觉语言模型与形状约束生成机制，显著提升了城市结构的拓扑一致性与多视角稳定性。该数据集通过融合二维语义布局、三维建筑资产及物理渲染材质，为风格多样化场景合成提供了坚实基础，同时引入基于视觉语言模型的自动化评估体系，为量化生成质量开辟了新路径，对虚拟现实、数字孪生等应用领域具有重要实践意义。

相关研究论文

• MajutsuCity: Language-driven Aesthetic-adaptive City Generation with Controllable 3D Assets and Layouts

  中山大学 · 2025年