Tell2Design (T2D)

Tell2Design (T2D) 数据集由新加坡科技与设计大学创建，包含超过80,000个住宅建筑的平面图，每个平面图均配有自然语言指令。该数据集旨在通过语言指令直接生成设计，特别关注平面图生成领域。数据集内容包括各种房间类型及其空间关系，创建过程涉及人工标注和模板生成。应用领域主要集中在简化设计流程，使非专业用户也能参与设计，提高生成AI在设计领域的实用性。The Tell2Design (T2D) dataset was developed by the Singapore University of Technology and Design. It contains over 80,000 floor plans of residential buildings, with each floor plan paired with a corresponding natural language instruction. This dataset is intended for direct design generation using natural language instructions, with a specific focus on the floor plan generation domain. The dataset encompasses various room types and their spatial relationships, and its creation involves both manual annotation and template generation. Its primary application areas center on simplifying the design workflow, allowing non-professional users to engage in the design process, and improving the practical utility of generative AI in the design sector.

搜集汇总

数据集介绍

构建方式

在建筑设计与自然语言处理交叉领域，Tell2Design（T2D）数据集的构建体现了严谨的多阶段工程。该数据集以RPLAN中的80,788个真实住宅平面图为基础，通过剔除罕见房型并合并相似类别，确立了八种核心房间类型。语言指令的采集采用双轨策略：一方面通过亚马逊众包平台雇佣人工标注者，依据平面图撰写涵盖语义、几何与拓扑信息的描述性指令，并经过人工审核以剔除低质量条目，最终获得5,051条高质量人工标注；另一方面，针对剩余75,737个平面图，基于由自然语言处理专家起草并经建筑设计师审阅的模板，生成了结构完整、信息全面的人工指令，从而构成了总计超过八万条指令的大规模语料库。

使用方法

该数据集主要用于训练与评估语言引导的平面图生成模型。使用时，模型以一组自然语言指令作为输入，旨在输出一个在空间布局上与之对齐的二维平面图。研究通常采用序列到序列（Seq2Seq）框架，将指令编码后，解码生成代表房间边界框的离散化序列。为融入关键的建筑边界约束，可将平面外轮廓转化为外包围框与外部排除框的序列表示，并与指令拼接输入。评估指标常采用像素级的宏观与微观交并比（IoU），以量化生成布局与真实布局的重合度；同时，通过人工评估对生成结果与指令在房间类型、位置、尺寸及关系四个维度上的对齐程度进行主观评分，以全面衡量模型对复杂、模糊语言信息的理解与执行能力。

背景与挑战

背景概述

Tell2Design (T2D) 数据集由新加坡科技设计大学、新加坡国立大学等机构的研究团队于2023年发布，旨在推动语言引导设计生成这一新兴领域的研究。该数据集聚焦于室内平面图生成任务，通过整合超过8万条自然语言指令与对应平面图设计，为核心研究问题——如何从非结构化文本描述中自动生成满足空间、语义与拓扑约束的精确设计——提供了首个大规模基准。其创新性在于将用户需求以自然语言形式直接映射到结构化设计输出，为建筑智能化、人机协作设计等应用奠定了数据基础，对跨模态生成与设计自动化领域产生了显著影响。

当前挑战

该数据集面临的挑战主要体现在两个方面：在领域问题层面，语言引导的平面图生成需克服严格的空间与关系约束，模型必须从冗长文本中解析模糊、纠缠的语义信息（如相对位置描述“北侧”或“相邻”），并协调几何尺寸、房间类型与拓扑连接等多重因素，确保生成设计同时满足语义一致性、几何精确性与拓扑合理性。在构建过程中，数据收集面临人工标注指令的噪声问题，包括表达歧义、信息缺失及数值估计误差，同时需通过模板化方法生成大规模人工指令以平衡数据质量与规模，并设计有效的边界信息编码策略来整合平面图轮廓约束，这些挑战共同凸显了该任务在语言理解与空间推理方面的复杂性。

常用场景

经典使用场景

在建筑设计与生成式人工智能交叉领域，Tell2Design（T2D）数据集为语言引导的平面图生成任务提供了基准平台。该数据集通过超过八万条自然语言指令与对应住宅平面图的配对，构建了从文本描述到结构化空间布局的映射关系。其经典使用场景在于训练和评估序列到序列模型，使模型能够理解包含语义、几何与拓扑关系的复杂文本指令，并生成符合约束的二维平面布局，为自动化设计流程奠定基础。

解决学术问题

T2D数据集主要解决了生成式人工智能在严格约束下进行设计创造的学术难题。与侧重于艺术创作的文本条件图像生成不同，平面图生成需精确满足房间类型、位置、尺寸及相互关系等多重约束。该数据集通过提供大规模、高质量的语言-布局配对样本，促进了模型在模糊信息理解、空间关系推理及边界条件整合方面的研究，填补了语言引导结构化设计生成领域的空白，推动了跨模态理解与生成技术的发展。

实际应用

在实际应用层面，T2D数据集为建筑设计与室内规划提供了智能化工具原型。用户可通过自然语言描述需求，系统自动生成初步平面方案，大幅缩短传统设计中客户与设计师的沟通周期。该技术可应用于住宅定制、空间改造、虚拟环境构建等领域，降低专业门槛，提升设计效率。其核心价值在于将生成式AI从艺术创作延伸至实用设计，实现“描述即设计”的人机交互愿景。

数据集最近研究

最新研究方向

在建筑信息模型与生成式人工智能交叉领域，Tell2Design（T2D）数据集的推出标志着语言引导设计生成任务的开端。该数据集聚焦于从自然语言描述直接生成建筑平面图，其核心挑战在于处理设计生成中的严格空间约束与模糊语义理解。前沿研究正探索如何构建鲁棒的语言理解模型，以应对人类指令中的噪声与歧义，同时显式整合设计多样性，发展能够生成多种合理平面图方案的技术。此外，扩展语言引导生成至更广泛的设计领域（如文档布局、移动界面）以及支持多轮用户反馈的交互式设计场景，亦是当前研究的热点方向。T2D通过提供大规模标注数据与强基线模型，为自动化设计工具的开发奠定了重要基础，推动了生成式AI在专业设计领域的实用化进程。

相关研究论文

• Tell2Design: A Dataset for Language-Guided Floor Plan Generation

  新加坡科技与设计大学 · 2023年