SpatialEdit-500K, SpatialEdit-Bench

SpatialEdit-500K是一个合成的训练数据集，用于可扩展的细粒度空间编辑，通过可控的Blender管道生成，渲染了不同背景和系统相机轨迹上的对象，为对象和相机中心操作提供了精确的地面真实变换。SpatialEdit-Bench是一个完整的基准测试，通过视角重建和框架分析联合测量感知合理性和几何保真度来评估空间编辑。

SpatialEdit-500K is a synthetic training dataset tailored for scalable fine-grained spatial editing. Generated via a controllable Blender pipeline, it renders objects across diverse backgrounds and along the system's camera trajectories, providing precise ground-truth transformations for both object-centric and camera-centric operations. SpatialEdit-Bench is a comprehensive benchmark that evaluates spatial editing by jointly measuring perceptual plausibility and geometric fidelity through viewpoint reconstruction and framework analysis.

原始信息汇总

SpatialEdit数据集概述

数据集基本信息

• 数据集名称: SpatialEdit
• 核心任务: 细粒度图像空间编辑，专注于几何驱动的图像变换，精确控制对象布局和摄像机视点。
• 主要贡献:
  1. SpatialEdit-Bench: 一个完整的基准测试，通过视点重建和构图分析联合测量感知合理性和几何保真度，以评估空间编辑能力。
  2. SpatialEdit-500K: 一个用于可扩展训练的大规模合成数据集。
  3. SpatialEdit-16B: 一个用于细粒度空间编辑的基线模型。

数据集构成与资源

1. SpatialEdit-500K（训练数据集）

• 性质: 合成训练集。
• 生成方法: 通过可控的Blender渲染管线生成，在多样化背景和系统化摄像机轨迹上渲染对象。
• 规模: 约50万样本。
• 数据特点: 为以对象为中心和以摄像机为中心的操作提供精确的真实变换标注。
• 获取地址: https://huggingface.co/EasonXiao-888/SpatialEdit-500K

2. SpatialEdit-Bench（基准测试数据集）

• 性质: 基准测试图像与评估资源集。
• 评估目标: 评估对象中心编辑和摄像机中心编辑，同时衡量编辑图像的视觉合理性和所请求空间变换的满足程度。
• 获取地址: https://huggingface.co/EasonXiao-888/SpatialEdit-Bench

3. SpatialEdit-16B（模型）

• 性质: 图像空间编辑的模型检查点。
• 获取地址: https://huggingface.co/EasonXiao-888/SpatialEdit

应用场景与任务

• 3D点控制: 从稀疏输入视点合成更丰富的空间观测。
• 摄像机轨迹编辑: 基于首帧生成目标帧，并合成保持场景真实性和主体一致性的摄像机过渡视频。
• 对象平移: 生成目标帧，并产生两帧间连贯的运动序列，同时保持场景布局和摄像机设置稳定。
• 对象旋转: 生成目标帧，并创建平滑的旋转过渡，同时保持环境一致性。

数据与基准测试使用说明

基准测试推理

使用指定命令生成SpatialEdit-Bench的编辑输出，需配置检查点路径、保存路径、元数据文件等参数。

基准测试评估

• 摄像机级评估: 测量视点重建和构图保真度，需要外部资源VGGT和YOLO26x。
• 对象级评估: 评估编辑忠实度和基准测试统计数据，需配置元数据文件和评估后端。

依赖与注意事项

• 外部依赖: 运行评估需要下载VGGT、YOLO26x、Qwen3-VL-8B-Instruct、Wan2.1-T2V-1.3B等外部检查点。
• 配置更新: 配置文件包含内部绝对路径，运行前需替换为本地模型路径。
• 环境要求: 安装依赖需注意flash_attn需要兼容的CUDA和PyTorch环境。

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，精细化的图像空间编辑对数据的几何精度提出了极高要求。SpatialEdit-500K数据集通过可控的Blender合成渲染流水线构建，该流程在多样化的背景场景中系统性地渲染物体，并沿着预设的相机轨迹进行拍摄，从而为以物体为中心和以相机为中心的操作生成精确的地面实况变换数据。这种合成方法有效解决了大规模训练所需的数据瓶颈，确保了数据在空间变换上的准确性与可控性。

特点

该数据集的核心特点在于其专注于几何驱动的空间变换，能够实现对物体布局与相机视角的精确控制。SpatialEdit-500K提供了涵盖物体姿态、位置以及系统化相机轨迹变化的丰富合成数据，而SpatialEdit-Bench则作为一个完整的评估套件，通过联合度量感知合理性与几何保真度，专门用于评测空间编辑任务的性能。两者共同构成了一个从数据生成到模型评估的完整闭环，为细粒度空间操纵研究提供了坚实的基础。

使用方法

数据集主要用于训练和评估细粒度图像空间编辑模型。研究人员可下载SpatialEdit-500K用于模型训练，利用其提供的精确空间变换标签学习几何控制能力。对于模型性能评测，则需使用SpatialEdit-Bench，按照提供的评估脚本进行推理，生成编辑后的图像，并运行相机级与物体级的评估流程，以综合衡量模型在视角重建、构图分析以及编辑忠实度等方面的表现。使用前需配置好相应的依赖环境与外部模型权重。

背景与挑战

背景概述

在计算机视觉与图像生成领域，细粒度的空间编辑旨在实现对图像中物体布局与摄像机视角的几何驱动变换，这一任务对模型的精确控制能力提出了极高要求。SpatialEdit-500K与SpatialEdit-Bench数据集由Yicheng Xiao、Wenhu Zhang、Lin Song等研究人员于近期共同构建，其核心研究问题聚焦于解决现有模型在精细空间操控上的不足，通过提供大规模合成数据与系统化评估基准，推动图像编辑技术向几何感知与空间可控的方向演进。该数据集的建立为相关领域提供了关键的训练资源与标准化评测体系，显著提升了空间编辑任务的可行性与研究深度。

当前挑战

在领域问题层面，图像空间编辑面临几何保真度与视觉合理性的双重挑战，要求模型在改变物体位置、旋转或摄像机轨迹时，必须保持场景的一致性与真实感。构建过程中，SpatialEdit-500K通过可控的Blender渲染管线生成合成数据，其挑战在于确保大规模数据中物体姿态、背景多样性及摄像机轨迹的系统性覆盖，同时为对象中心与摄像机中心操作提供精确的地面真值变换。此外，SpatialEdit-Bench的构建需设计联合评估指标，以量化感知质量与几何精度，这要求评测框架能够兼顾视觉自然度与空间变换的准确性。

常用场景

经典使用场景

在计算机视觉与图像生成领域，SpatialEdit-500K与SpatialEdit-Bench数据集为细粒度空间编辑任务提供了标准化的评估框架与训练资源。该数据集的核心应用场景在于对图像进行几何驱动的精确操控，例如调整物体在三维空间中的位置、旋转角度，或改变摄像机的拍摄视角与运动轨迹。研究者通过该数据集能够系统性地训练和验证模型在保持视觉合理性的同时，实现复杂空间变换的能力，从而推动可控图像生成技术向更高精度发展。

解决学术问题

该数据集旨在解决当前图像编辑模型在细粒度空间操控方面的不足，为学术研究提供了关键的数据支撑与评估基准。通过提供包含精确地面真实变换的大规模合成数据，它帮助研究者克服了真实世界数据标注成本高昂、变换控制不够系统化的瓶颈。其意义在于建立了一套联合度量感知合理性与几何保真度的评估体系，使得空间编辑任务的性能能够被客观、量化地比较，从而促进了该子领域研究范式的标准化与深化。

衍生相关工作

基于SpatialEdit数据集所构建的基准与资源，已经催生了一系列相关的经典研究工作。其提出的SpatialEdit-16B基线模型为后续的细粒度空间编辑模型设立了性能标杆。该数据集的构建方法论也影响了其他可控生成任务的数据合成流程。此外，其评估框架被后续研究采纳并扩展，用于衡量更复杂的多模态编辑任务。数据集所支撑的技术也已整合到如JoyAI-Image等开源图像编辑项目中，推动了产业界相关工具链的发展。