Semantic Replica

github2025-08-22 更新2025-09-01 收录

室内场景理解

3D视觉

数据链接：

https://github.com/K-3R/Semantic_Replica 数据链接链接失效反馈

官方服务：

资源简介：

Semantic Replica是对原始Replica数据集的扩展，通过引入场景中物体的变化来模拟真实世界室内环境随时间的变化。该数据集包含修改后的室内场景，提供2D原始图像、Blender项目文件、指令集和场景图表示，可用于3D高斯学习、场景图生成和问答任务。

Semantic Replica is an extension of the original Replica dataset. It simulates temporal changes in real-world indoor environments by incorporating object variations within scenes. This dataset includes modified indoor scenes, providing 2D raw images, Blender project files, instruction sets, and scene graph representations, which can be used for 3D Gaussian learning, scene graph generation, and question answering tasks.

创建时间：

2025-08-22

原始信息汇总

Semantic Replica 数据集概述

数据集简介

Semantic Replica 是基于原始 Replica 数据集扩展的室内场景数据集，通过引入场景内物体的变化来模拟真实世界室内环境的动态变化。该数据集包含修改后的场景及其对应的场景图和问答对，适用于视觉问答等任务。

数据集格式

每个自定义场景包含以下文件：

gt_images：场景的原始 2D 图像集合，可用于 COLMAP 处理和 3D 高斯溅射（3DGS）。
<scene_name>.blend：可编辑的 Blender 项目，包含几何、材质和纹理，用于可视化和进一步场景修改。
instructions.json：描述命令或操作的指令集，可用于图视觉问答（GAT）的问答任务。
scenegraphs.json：场景的图形表示，关系由 3DSSG 网络生成，同样用于图视觉问答（GAT）的问答任务。

修改场景详情

数据集包含以下修改场景：

场景名称	描述
`room0_chair_moved`	在 `room0` 中，中央的两个棕色凳子被移动到右侧。
`room0_3obj_addition`	在 `room0` 中，中央的两个棕色凳子被移动到右侧，并在凳子附近添加了一个蓝色椅子和一个白色桌子。
`room1_chair_addition`	在 `room1` 中，左侧场景添加了一个蓝色椅子。
`room1_table_addition`	在 `room1` 中，左侧场景添加了一个白色桌子。
`office3_chair_moved`	在 `office3` 中，中央的蓝色椅子被移动到右侧。
`office3_5obj_addition`	在 `office3` 中，中央的蓝色椅子被移动到右侧，并在椅子附近添加了一个白色花瓶、黑色罐子、白色桌子和显示器。

下载方式

使用以下命令下载数据集：

bash pip install gdown gdown 1eVPZ00ayYmfL-RWtOyLlkv7y6cGO8UcZ -O data.zip unzip data.zip

许可证

搜集汇总

数据集介绍

构建方式

在室内场景理解领域，Semantic Replica数据集基于原始Replica静态场景数据，通过引入物体位置移动与新增对象的策略构建动态环境变化。采用Blender工具进行场景编辑，生成包含几何、材质与纹理的可修改项目文件；利用3DSSG网络对场景中的学习型3D高斯模型进行推理，提取并结构化场景图关系；同时自动生成与场景修改对应的指令集与问答对，形成多模态数据体系。

特点

该数据集的核心特点在于其多维度表征能力：既提供高保真二维图像序列支持三维重建与神经渲染，又包含可编辑的Blender项目文件以实现灵活可视化与进一步场景调整；场景图以结构化形式捕捉物体间语义关系，指令集与问答对则直接适配图注意力网络任务需求。所有数据均围绕动态室内环境变化设计，强化了时空语义连贯性。

使用方法

研究者可通过下载并解压数据包获取各场景资产，其中二维图像可输入COLMAP进行三维重建或用于3D高斯泼溅技术；Blender项目文件支持场景可视化与自定义修改；场景图与指令集可直接作为图注意力网络的输入，用于视觉问答或关系推理任务。数据集整体服务于动态室内场景理解、语义关系建模与交互式人工智能应用开发。

背景与挑战

背景概述

Semantic Replica数据集由KAIST SSL团队于2025年基于Facebook Research的原始Replica数据集扩展构建，专注于动态室内场景的语义理解。该数据集通过引入场景内物体的时空变化，解决了静态环境表示在真实世界应用中的局限性。其核心研究问题在于如何捕捉和表征室内环境中物体关系的动态演化，为三维场景理解、视觉问答及机器人导航等领域提供了富含语义注释的多模态数据支持，显著推动了室内场景分析从静态向动态建模的范式转变。

当前挑战

该数据集旨在解决动态室内场景中物体关系建模与视觉问答的复杂性问题，具体挑战包括：如何准确捕捉场景中物体的时空变化并生成一致的场景图表示；在构建过程中需克服多模态数据对齐的困难，如将3D高斯推断结果与二维图像、Blender几何模型及自然语言指令进行无缝集成；同时需确保生成的场景图与问答对在逻辑和空间关系上保持语义一致性，以支持下游任务如GAT模型的有效训练与推理。

常用场景

经典使用场景

在三维场景理解研究中，Semantic Replica数据集通过提供动态变化的室内场景数据，成为评估场景图生成与视觉问答系统的基准平台。其经典应用体现在利用3DSSG网络从多视角图像中提取物体间的空间与语义关系，构建结构化场景图，为图注意力网络（GAT）提供标准化输入，从而支持复杂推理任务的训练与验证。

衍生相关工作

基于Semantic Replica衍生的研究主要集中于三维场景图生成与视觉问答的交叉领域。典型工作包括改进3DSSG网络在动态场景中的关系推理精度，以及扩展GAT模型对多模态输入（如图像-场景图-指令）的联合建模能力。这些研究进一步推动了如场景重构、智能交互指令执行等方向的发展。

数据集最近研究