Edit-As-Act Dataset

该数据集包含3D室内场景编辑的相关数据，包括卧室、餐厅、浴室等场景的布局文件和用户编辑指令。

This dataset contains relevant data for 3D indoor scene editing, including layout files and user editing instructions for scenes such as bedrooms, dining rooms, and bathrooms.

原始信息汇总

Edit-As-Act 数据集概述

数据集基本信息

• 数据集名称: Edit-As-Act 数据集
• 关联研究: Edit-As-Act: Goal-Regressive Planning for Open-Vocabulary 3D Indoor Scene Editing (CVPR 2026)
• 论文链接: https://arxiv.org/abs/2603.17583

数据集获取与结构

• 下载地址: https://drive.google.com/file/d/1Pn41pI-txhvoqjLxLaLSJ9j2n93xNWtz/view?usp=sharing
• 重要提示: 数据集链接已于2026年3月27日更新，在此日期前下载的用户请重新下载。
• 目录结构: 数据集应放置在 code/dataset/ 目录下，包含 bedroom、dining_room、bathroom 等多个室内场景类别。

数据集内容与用途

• 核心数据: 包含场景布局JSON文件（如 scene_layout_edited.json）和用户指令文件（如 instruction_bedroom.json）。
• 主要用途: 用于开放词汇3D室内场景编辑任务的基准测试与评估，支持从用户指令到场景编辑动作序列的规划与执行。

数据处理流程

1. 基准测试运行: 使用 run_benchmark.py 对指定场景和用户指令执行完整的基准测试流程。
2. 场景文件生成: 使用 apply_plan_to_scene.py 将预测的编辑计划转换为编辑后的场景布局JSON文件。
3. 场景可视化: 通过Blender脚本导入生成的场景JSON文件进行三维可视化。

相关工具

• 场景导入工具: tools/blender_scene_import.py 用于将数据集场景JSON导入Blender。
• 场景导出工具: tools/blender_scene_export.py 用于将Blender场景导出为数据集兼容的JSON格式。

搜集汇总

数据集介绍

构建方式

在三维室内场景编辑领域，Edit-As-Act数据集的构建采用了系统化的方法。该数据集基于多种室内场景类型，如卧室、餐厅和浴室等，通过精心设计的场景布局文件与用户编辑指令相结合的方式构建。具体而言，每个场景均以JSON格式的布局文件为基础，并配以结构化的自然语言指令集，这些指令详细描述了用户对场景的编辑意图。数据集的构建过程强调场景的多样性与编辑任务的开放性，旨在为模型提供丰富的训练与评估环境，从而支持对开放词汇三维场景编辑任务的研究。

特点

Edit-As-Act数据集展现出多方面的显著特点。其核心在于支持开放词汇的编辑任务，允许用户通过自然语言指令对三维室内场景进行多样化修改，如添加、移除或调整物体。数据集涵盖了多种常见的室内场景类型，确保了任务场景的广泛代表性。每个场景均配有精确的结构化布局数据与对应的用户指令，为模型训练与评估提供了高质量、可复现的基准。此外，数据集与Blender等三维可视化工具深度集成，便于研究人员直观地验证编辑结果，增强了其实用性与可解释性。

使用方法

使用Edit-As-Act数据集需遵循一套清晰的流程。首先，用户需配置环境并设置必要的API密钥。随后，通过运行基准测试脚本，将场景布局文件与用户指令作为输入，系统将执行终端条件提取与回归规划，生成预测的编辑计划。接着，利用工具脚本可将这些计划转换回具体的场景JSON文件，实现场景的编辑更新。最后，通过Blender的导入脚本，用户能够将生成的JSON文件加载到三维环境中进行可视化，直观地审查编辑效果。整个过程支持从自动化评估到结果可视化的完整闭环。

背景与挑战

背景概述

Edit-As-Act数据集由Seongrae Noh等研究人员于2026年提出，旨在推动开放词汇三维室内场景编辑领域的发展。该数据集聚焦于目标回归规划的核心研究问题，通过结合大型语言模型与场景布局数据，为智能体在复杂室内环境中的语义编辑任务提供结构化基准。其创建标志着计算机视觉与具身智能交叉领域的一次重要探索，为后续研究者在场景理解与交互式规划方面奠定了数据基础。

当前挑战

该数据集致力于解决开放词汇三维室内场景编辑中的规划挑战，即如何将自然语言指令转化为一系列可执行的场景修改动作。构建过程中的挑战包括：采集多样化的室内场景布局数据并确保其语义一致性；设计能够覆盖添加、删除、移动等复杂编辑操作的真实用户指令；以及建立精确的评估框架以衡量规划模型在多层次编辑任务上的性能。

常用场景

经典使用场景

在三维室内场景编辑领域，Edit-As-Act数据集为开放词汇的语义驱动编辑任务提供了标准化的评估基准。该数据集通过结构化的场景布局与自然语言指令对，支持模型执行如添加、移除或重新布置物体等复杂编辑操作。其经典使用场景在于训练和验证基于目标回归规划的智能体，使其能够理解高层次用户意图，并生成可执行的编辑动作序列，从而实现对虚拟室内环境的动态重构。

解决学术问题

该数据集有效应对了三维场景编辑中语义理解与规划脱节的学术挑战。它通过提供丰富的场景-指令对，促进了开放词汇条件下目标条件提取与回归规划的统一研究框架。其意义在于弥合了自然语言指令与具体三维编辑动作之间的语义鸿沟，为场景理解、任务规划及具身智能等交叉领域提供了可复现的实验基础，推动了基于学习的场景编辑方法向更灵活、更人性化的方向发展。

衍生相关工作

围绕Edit-As-Act数据集，已衍生出一系列专注于三维场景语义编辑与任务规划的经典研究工作。这些工作通常扩展了数据集的指令类型或场景复杂度，探索了结合大语言模型的规划器、基于物理约束的动作生成，以及多模态指令理解等方向。相关成果进一步丰富了开放词汇场景编辑的技术图谱，并在机器人操作仿真、交互式内容创建等后续研究中得到了广泛引用与拓展。