DStruct2Design

DStruct2Design数据集由MILA、蒙特利尔理工学院和蒙特利尔大学联合创建，专注于数据结构驱动的生成平面图设计。该数据集通过整合RPLAN和ProcTHOR两个大型平面图数据集，转换为JSON格式的数据结构，包含房间数量、总面积、房间类型等关键数值数据。数据集的创建过程涉及对原始数据的清洗、处理和结构化，旨在通过语言输入实现统一的方法，允许用户应用数值约束并保留图形条件的能力。该数据集主要应用于生成满足特定约束条件的平面图设计，旨在提高生成模型的性能和实用性。

The DStruct2Design dataset was co-created by MILA, Polytechnique Montréal, and the University of Montréal, focusing on data structure-driven generative floor plan design. This dataset integrates two large-scale floor plan datasets, RPLAN and ProcTHOR, and is converted into a JSON-formatted data structure containing key numerical attributes such as the number of rooms, total floor area, and room category. The dataset creation process involves cleaning, processing, and structuring raw data, aiming to realize a unified approach via natural language input, enabling users to apply numerical constraints while retaining graphical conditions. This dataset is primarily applied to generate floor plan designs that satisfy specific constraint requirements, with the goal of improving the performance and practicality of generative models.

原始信息汇总

DStruct2Design: 数据结构驱动的生成式平面图设计数据集及基准

数据集

ProcTHOR

• 下载地址: 可从此处下载转换后的ProcTHOR-10K数据集。
• 存储路径: 下载后将其放置在datasets/procthor_converted/目录下。

RPLAN

• 获取方式: 需从其主页请求获取RPLAN数据集。

• 存储路径: 获取后将所有数据（png文件）存储在datasets/rplan/目录下，并运行转换脚本进行转换。

• 转换脚本:

  python scripts/rplan_dataset_convert.py

• 转换后存储路径: 转换后的数据集将存储在datasets/rplan_converted/目录下。

预训练权重

RPLAN训练的4种模型变体的权重

• 下载地址:

  https://drive.google.com/file/d/1cAYlEupNUGJefNdwkNaaq7fD3X3_P46D/view?usp=sharing

ProcTHOR训练的3种气泡图模型变体的权重

• 下载地址:

  https://drive.google.com/file/d/16cYPK6g_Ho4VbvjvBZIGHMzNTBWzcAZT/view?usp=drive_link

ProcTHOR训练的3种仅约束（无气泡图）模型变体的权重

• 下载地址:

  https://drive.google.com/file/d/13k-pBmhGhYthm4WbHzrRH7WjaSKNkTpq/view?usp=drive_link

• 存储路径: 下载后解压缩并放置在models/目录下的相应文件夹中。

训练

在ProcTHOR上训练

• 训练命令:

  python -m llama_recipes.finetuning --use_peft --peft_method lora --quantization --model_name meta-llama/Meta-Llama-3-8B-Instruct --batch_size_training 2 --num_epochs 8 --dataset "custom_dataset" --custom_dataset.file "procthor_dataset.py" --use_wandb False --wandb_config.project "floorplans" --output_dir procthor --exprm $EXPRM_VAR --load_peft False --ds_version $BD_VAR --load_peft False

• 变量设置:

  • $BD_VAR 可设置为 bd 或 non_bd。
  • $EXPRM_VAR 可设置为 specific, mask, 或 preset_mask。

在RPLAN上训练

• 训练命令:

  python -m llama_recipes.finetuning --use_peft --peft_method lora --quantization --model_name meta-llama/Meta-Llama-3-8B-Instruct --batch_size_training 2 --num_epochs 5 --dataset "custom_dataset" --custom_dataset.file "rplan_dataset.py" --use_wandb False --wandb_config.project "floorplans" --output_dir rplan --exprm $EXPRM_VAR$ --load_peft False

• 变量设置:

  • $EXPRM_VAR 可设置为 5R, 6R, 7R, 或 8R。

推理

在ProcTHOR训练的模型上运行生成

• 生成命令:

  python run_generation_procthor.py --exprm $EXPRM_VAR --num_samples 1 --version $BD_VAR

• 变量设置:

  • $BD_VAR 可设置为 bd 或 non_bd。
  • $EXPRM_VAR 可设置为 specific, mask, 或 preset_mask。

在RPLAN训练的模型上运行生成

• 生成命令:

  python run_generation_rplan.py --exprm $EXPRM_VAR --num_samples 1

• 变量设置:

  • $EXPRM_VAR 可设置为 5R, 6R, 7R, 或 8R。

评估

• 评估命令:

  python run_metric.py $RESULTS_DIR

搜集汇总

数据集介绍

构建方式

DStruct2Design数据集的构建过程涉及将两个流行的基于图像的平面图数据集RPLAN和ProcTHOR-10k转换为JSON格式的数据结构。通过提取房间几何属性，如面积和坐标，并将这些信息组织成JSON格式的数据结构，每个房间由定义其布局的多边形顶点表示。此外，数据集中的每个平面图还包括房间数量、总面积、房间类型等关键数值数据。为了进一步验证数据集的有效性，研究人员使用一个大型语言模型（LLM）进行训练，以生成符合自然语言中指定的约束条件的平面图数据结构。

特点

DStruct2Design数据集的特点在于其结构化的数据格式，它允许用户在生成平面图时应用数值约束。这种结构化的数据结构不仅使得对生成过程的评估更加清晰和明确，而且还具有足够的灵活性，可以转换成更高级别的表示形式，如平面图图像。此外，该数据集还包含了房间之间的连接信息，这为基于图的条件生成提供了可能。通过提供一系列的基线模型，研究人员展示了使用平面图数据结构条件LLMs生成符合数值约束的平面图的可行性。

使用方法

使用DStruct2Design数据集时，用户可以通过输入自然语言中指定的数值约束和/或图约束（如房间之间的连接信息）来生成平面图。这些约束被转换成结构化的输入，然后输入到一个训练好的大型语言模型中，该模型输出符合这些约束的平面图数据结构。生成的平面图数据结构可以进一步转换成平面图图像，以便于可视化。为了评估生成的平面图的质量，研究人员设计了一系列的指标和基准，包括自我一致性、提示一致性和兼容性指标，这些指标可以用来衡量生成平面图与用户输入的约束条件的一致性。

背景与挑战

背景概述

DStruct2Design 数据集是由 MILA 研究所的多位研究人员合作创建的，旨在解决当前平面图生成任务中数值属性约束的重要性问题。该数据集于 2024 年提出，基于 RPLAN 和 ProcTHOR-10k 两个流行图像平面图数据集，通过构建一个包含平面图数值属性的数据结构，用于生成最终的平面图图像。该数据集的研究背景涉及平面图生成的实际应用场景，如用户需要指定房间大小并进行比较等。DStruct2Design 数据集的创建为相关领域的研究提供了新的视角和方法，对平面图生成技术的发展产生了重要影响。

当前挑战

DStruct2Design 数据集面临的挑战主要包括：1) 如何在生成平面图时，有效地满足用户对房间大小、形状等数值属性的约束；2) 如何构建一个能够适应不同约束条件的平面图生成模型；3) 如何评估生成的平面图是否满足用户指定的约束条件。此外，在构建数据集的过程中，还需要解决如何将现有的平面图数据转换为新的数据结构格式的问题。

常用场景

经典使用场景

在建筑设计领域，DStruct2Design 数据集的经典使用场景是生成满足特定数值约束的楼层平面图。该数据集允许用户通过自然语言输入数值约束，如房间尺寸、面积等，并生成符合这些约束的楼层平面图。这种能力使得设计者能够在生成过程中保持对设计的高度控制，同时也能够通过数据结构的形式来处理楼层平面图，便于后续的编辑和可视化。

解决学术问题

DStruct2Design 数据集解决了在楼层平面图生成任务中，现有方法和数据集不支持数值约束的问题。传统的楼层平面图生成方法主要关注视觉效果的生成，而忽略了数值属性的精确性。DStruct2Design 数据集通过引入数值属性的数据结构，使得生成过程能够更好地满足用户的数值约束。同时，该数据集还提供了一系列的评估指标，用于衡量生成的楼层平面图是否满足用户的约束。

衍生相关工作

DStruct2Design 数据集的发布，激发了对基于数值约束的楼层平面图生成任务的研究。例如，有研究者在 DStruct2Design 数据集的基础上，提出了新的评估指标和生成模型，以进一步提高生成的楼层平面图的精度和效率。此外，还有研究者将 DStruct2Design 数据集应用于其他领域，如室内设计和城市规划，以探索数值约束在生成设计中的应用潜力。