LEGO_Bench

LEGO-Bench 是一个用于评估基于文本指导的3D场景合成的基准数据集，包含细粒度且真实的指令。每个指令包含多个约束条件，描述布局、材质、物体和位置，反映了真实室内场景的组合复杂性。数据集包含130条指令与手动对齐的3D场景，共计1,250个标注约束。平均每条指令包含约10个约束，涵盖建筑元素（墙壁、地板、门窗）和物体级关系。这些详细标注支持对生成场景满足自然语言规范程度的系统性、约束级评估。数据集结构包括包含指令和约束的JSON文件（full_data），以及与指令对应的场景数据文件夹（data_0 ~ data_129）。LEGO-Bench is a benchmark dataset for evaluating text-guided 3D scene synthesis, which contains fine-grained and realistic instructions. Each instruction consists of multiple constraints that describe layout, material, objects and positions, reflecting the combinatorial complexity of real-world indoor scenes. The dataset includes 130 instructions paired with manually aligned 3D scenes, totaling 1,250 annotated constraints. On average, each instruction contains approximately 10 constraints, covering architectural elements (walls, floors, doors and windows) and object-level relationships. These detailed annotations enable systematic, constraint-level evaluation of how well generated scenes meet natural language specifications. The dataset structure contains a JSON file (full_data) that stores instructions and constraints, as well as scene data folders (data_0 ~ data_129) corresponding to each instruction.

原始信息汇总

LEGO-Bench 数据集概述

数据集基本信息

• 数据集名称：LEGO-Bench
• 许可证：apache-2.0
• 任务类别：文本到3D (text-to-3d)

数据集简介

LEGO-Bench 是一个为评估基于文本引导的3D场景合成而设计的基准数据集。它使用细粒度、真实的指令，每个指令包含描述布局、材质、物体和放置位置的多重约束，反映了真实世界室内场景的组合复杂性。

数据构成

• 指令数量：130条
• 对齐的3D场景数量：130个（手动对齐）
• 标注约束总数：1,250个
• 平均每条指令的约束数量：约10个

数据内容与范围

• 约束类型：涵盖建筑元素（墙壁、地板、门、窗户）和物体级关系。
• 核心功能：详细的标注支持在约束级别上系统评估生成场景满足自然语言规范的程度。

数据文件结构

• full_data (json文件)：包含指令及其内部的约束。
• data_0 ~ data_129 (文件夹)：包含与指令对齐的场景（json格式）。

关联评估框架

数据集与 LEGO-Eval 评估框架关联。LEGO-Eval 是一个工具增强的评估框架，用于文本引导的3D场景合成。它通过使用21种多模态工具来定位场景组件，支持对空间和属性约束进行多跳推理，从而实现细粒度和可解释的指令-场景对齐评估。

引用信息

如需使用本数据集，请引用： bibtex @article{hwangbo2025lego, title={LEGO-Eval: Towards Fine-Grained Evaluation on Synthesizing 3D Embodied Environments with Tool Augmentation}, author={Hwangbo, Gyeom and Chae, Hyungjoo and Kang, Minseok and Ju, Hyeonjong and Oh, Soohyun and Yeo, Jinyoung}, journal={arXiv preprint arXiv:2511.03001}, year={2025}}}

搜集汇总

数据集介绍

构建方式

在三维场景合成领域，构建能够反映真实世界复杂性的评估基准至关重要。LEGO_Bench数据集通过精心设计130条包含多约束条件的文本指令，每条指令平均涵盖约10项约束，涉及布局、材质、对象及位置等维度，总计标注了1,250项约束。这些指令与手动对齐的三维场景配对，确保了指令与场景之间的精确对应。数据以JSON格式组织，分为包含指令与约束的完整数据文件及对应各场景的独立文件夹，为系统性评估提供了结构化基础。

特点

该数据集的核心特点在于其细粒度与真实性，指令不仅描述宏观场景布局，还深入刻画建筑元素（如墙壁、地板、门窗）与物体级关系，体现了室内场景的组合复杂性。通过涵盖多约束条件，数据集支持对生成场景满足自然语言规范程度的逐项评估。此外，其与LEGO-Eval评估框架的紧密结合，利用21种多模态工具进行场景组件接地，实现了可解释的、基于空间与属性约束的多跳推理评估，提升了评估的精确度与深度。

使用方法

使用LEGO_Bench时，研究人员可通过加载JSON格式的指令与约束数据，结合对应场景文件夹中的三维场景信息，进行文本引导的三维场景合成任务评估。数据集支持系统性分析生成场景与指令的对齐程度，尤其适用于基于约束的细粒度评测。借助LEGO-Eval框架，用户可调用多模态工具链，自动化地检验场景组件是否符合空间、材质等约束，实现高效、可复现的评估流程，推动三维合成技术向更高真实性与可控性发展。

背景与挑战

背景概述

在三维场景合成领域，如何依据自然语言描述生成精确且结构复杂的室内环境，一直是计算机视觉与图形学交叉研究的前沿课题。LEGO_Bench数据集由Gyeom Hwangbo等人于2025年提出，旨在为文本引导的三维场景合成任务提供细粒度评估基准。该数据集包含130条富含多重约束的指令，每条指令平均涵盖约10项涉及布局、材质、物体及位置关系的描述，总计1250条标注约束，覆盖从建筑结构到物体级关联的全面要素。其核心研究问题聚焦于评估生成场景与自然语言规范的对齐程度，推动了三维内容生成向更具组合性与可控性的方向发展，对室内设计、虚拟现实及具身智能等应用领域产生了显著影响。

当前挑战

LEGO_Bench数据集所应对的领域挑战在于，传统三维场景合成方法往往难以处理自然语言指令中隐含的复杂组合约束，如空间关系与属性要求的协同满足。该数据集通过引入细粒度、多约束的指令，旨在解决生成场景在布局合理性、物体属性一致性及空间逻辑准确性方面的评估难题。在构建过程中，研究人员面临的主要挑战包括如何设计涵盖真实世界室内场景多样性的指令体系，以及如何手动对齐三维场景与语言约束以确保标注的精确性。这些挑战要求跨模态理解与标注工作的深度融合，以支撑系统化、可解释的评估框架的实现。

常用场景

经典使用场景

在三维场景生成领域，LEGO_Bench数据集作为一项基准工具，主要用于评估文本引导下的三维室内场景合成能力。其经典使用场景涉及通过细粒度的自然语言指令，如描述布局、材质、物体及其空间关系，来生成或验证对应的三维场景模型。研究者利用该数据集中的130条指令及对应的手动对齐场景，能够系统测试模型在满足复杂多约束条件时的性能，从而推动文本到三维生成技术的精确度与可控性发展。

衍生相关工作

围绕LEGO_Bench衍生的经典工作主要包括LEGO-Eval评估框架，该工具集成了21种多模态工具，支持对空间与属性约束进行多步推理，实现了细粒度、可解释的指令-场景对齐评估。此外，该数据集激发了文本到三维生成领域对复合指令处理的研究，促进了基于约束的生成模型、多模态推理方法的发展，为后续基准构建与算法创新提供了重要参考。

数据集最近研究

最新研究方向

在文本引导的三维场景合成领域，LEGO_Bench数据集正推动着评估方法向细粒度、可解释性方向深化。该数据集通过提供包含布局、材质、对象及位置等多重约束的详细指令，精准反映了真实室内场景的组合复杂性，为系统评估生成场景与自然语言规范的匹配度建立了新标准。前沿研究聚焦于开发工具增强的评估框架，如LEGO-Eval，其整合多种多模态工具，支持对空间与属性约束进行多步推理，从而实现对指令-场景对齐的精细化分析。这一进展不仅提升了三维生成模型的评估精度，也为构建更智能、可控的具身环境合成系统奠定了关键基础，在虚拟现实、游戏开发及室内设计等应用场景中展现出深远影响。