Water Real and Water Synthetic

Water Real和Water Synthetic数据集可以通过数据集请求链接获取，仅限学术使用。数据集预处理包括从视频中提取帧并使用ffmpeg保存，以及进行Structure-from-Motion操作，最终转换为easyvolcap格式。

Water Real and Water Synthetic datasets are for academic use only and can be obtained via the dataset request link. The dataset preprocessing includes extracting frames from videos, saving them using ffmpeg, performing Structure-from-Motion operations, and finally converting to the easyvolcap format.

原始信息汇总

WSGS 数据集概述

数据集基本信息

• 数据集名称：Water Real 与 Water Synthetic 数据集
• 关联研究：Through the Water: Refractive Gaussian Splatting for Water Surface Scenes
• 访问方式：需通过指定表单申请（仅限学术用途）
• 申请链接：https://forms.gle/3G84ABSGmTHLnbpW9

数据集内容与用途

• 核心内容：包含真实水场景（Water Real）与合成水场景（Water Synthetic）的数据，用于训练和评估折射高斯泼溅（WSGS）模型。
• 主要目的：支持对水面场景进行高质量的新视角合成与渲染研究。

数据集结构

数据集预处理后需转换为 easyvolcap 格式，目录结构示例如下：

data/water_real/fishbowl_v02 │── extri.yml │── intri.yml ├── images │ ├── 00 │ │ ├── 000000.jpg │ │ ├── 000001.jpg │ │ ... │ └── 01 │ ... └── normal ├── 00 │ ├── 000000.jpg │ ├── 000001.jpg │ ... └── 01 ...

数据预处理流程

1. 视频帧提取：使用 ffmpeg 从视频中按指定帧率（如 8 fps）提取图像帧。
2. 运动恢复结构（SfM）：使用 COLMAP 处理图像，生成相机参数、稀疏点云等文件（cameras.bin, images.bin, points3D.bin 等）。
3. 格式转换：将 COLMAP 输出转换为 easyvolcap 格式。
4. 法线图生成：使用 StableNormal 工具生成单目法线图以供监督。
5. 元数据计算：计算场景特定的数据集配置参数。

数据集配置

使用数据集前需创建 YAML 配置文件，主要包含：

• 数据路径：data_root
• 训练与评估视图：view_sample 列表
• 模型采样器参数：
  • 环境高斯与折射高斯的边界框（env_bounds, refracted_bounds）
  • 预加载的点云文件路径（preload_gs, env_preload_gs, refracted_preload_gs）
  • 水面初始平面参数（initial_plane_offset, initial_plane_normal）

数据集使用场景

• 训练：支持对 Water Real 和 Water Synthetic 中的多个场景（如 fishbowl, basin, swimming_pool, pond, kitchen）进行模型训练。
• 评估：可对整个测试视图或仅对水面区域进行定量评估（需使用训练生成的伪掩码）。
• 渲染：支持测试视图渲染、旋转新视角路径渲染以及 GUI 交互式渲染。

搜集汇总

数据集介绍

构建方式

在计算机视觉与图形学领域，针对水面场景的高质量三维重建一直面临折射效应带来的挑战。Water Real and Water Synthetic数据集的构建过程体现了严谨的多视角采集与处理流程。首先从视频序列中提取帧图像，并利用COLMAP进行运动恢复结构（SfM）以获取相机参数与稀疏点云。随后通过脚本将数据转换为easyvolcap格式，并借助StableNormal工具生成单目法线图作为监督信号。整个流程特别考虑了水面对特征匹配的干扰，建议在COLMAP处理中使用掩码技术以提升重建精度。

使用方法

使用该数据集进行研究或开发时，需遵循其预设的流程。在完成数据请求与预处理后，用户需为特定场景创建配置文件，指定数据路径、训练视图及模型初始化参数。训练阶段通过执行evc-train命令启动，支持对数据集中不同场景的独立训练。模型训练完成后，可利用evc-test命令在测试视图上进行渲染与定量评估，相关结果与指标将自动保存。数据集还支持生成旋转的新视角路径渲染，并提供了图形用户界面进行交互式可视化。对于水面区域的专项评估，需利用训练过程中生成的伪掩码图像，通过专用脚本进行精细化度量分析。

背景与挑战

背景概述

Water Real and Water Synthetic数据集由韩国中央大学视觉智能实验室的研究团队于2025年构建，旨在推动水下场景与水面折射效应的三维重建与渲染研究。该数据集作为论文《Through the Water: Refractive Gaussian Splatting for Water Surface Scenes》的核心组成部分，聚焦于解决复杂流体介质中光线折射、反射及动态表面建模的难题。通过提供真实与合成两类水面场景的多视角图像及法线图，该数据集为基于高斯溅射的神经渲染方法提供了关键训练与评估基准，显著提升了水下环境重建的几何精度与视觉保真度，对计算机视觉与图形学交叉领域具有重要推动作用。

当前挑战

该数据集致力于解决水面场景三维重建中由光线折射与动态畸变带来的核心挑战，包括折射效应导致的多视角几何不一致性、水面波动引发的特征匹配困难，以及水下物体与介质交互的复杂外观建模。在构建过程中，研究团队面临真实数据采集时水体对特征提取的干扰，需借助COLMAP的掩码功能抑制水区域误匹配；同时，合成数据生成需精确模拟物理折射与散射，确保数据分布的多样性与真实性。此外，数据预处理涉及从视频帧提取、运动恢复结构到法线图估计的多步骤流程，对计算资源与算法鲁棒性提出了较高要求。

常用场景

经典使用场景

在计算机视觉与图形学领域，水面场景的逼真建模长期面临光线折射与反射带来的几何失真挑战。Water Real and Water Synthetic数据集通过提供包含真实与合成水面场景的多视角图像序列，为折射感知的三维重建方法提供了基准测试平台。该数据集最经典的使用场景在于训练和评估基于高斯溅射的神经渲染模型，例如WSGS（折射高斯溅射）方法，能够精确分离水面反射与折射效应，从而生成具有物理准确性的水下及水面以上场景的新视角合成图像。

解决学术问题

该数据集主要解决了复杂介质环境下三维场景重建的若干核心学术问题。传统结构光运动恢复方法在水面区域因光线折射而导致特征匹配失败，该数据集通过提供精确的相机参数与场景几何信息，支持开发能够建模折射效应的新型重建算法。其意义在于突破了水面干扰对视觉重建的局限，推动了动态介质场景的理解，为计算摄影、流体仿真等交叉学科提供了关键数据支撑，显著提升了虚拟现实中水下环境渲染的真实感与沉浸感。

实际应用

在实际应用层面，Water Real and Water Synthetic数据集为海洋勘探、水下机器人导航以及虚拟现实内容创作提供了重要工具。通过该数据集训练的模型能够准确还原水下遗址的几何结构，辅助考古学家进行非侵入式数字化存档。在娱乐产业中，该技术可用于生成电影特效中逼真的水面交互场景，或构建沉浸式虚拟潜水体验。此外，数据集还能服务于环境监测，例如通过分析水体透明度变化来评估生态健康状态。

数据集最近研究

最新研究方向

在计算机视觉与图形学领域，水面场景的逼真建模一直是极具挑战性的研究方向，因其涉及复杂的光学折射与反射效应。Water Real and Water Synthetic数据集的推出，为基于神经辐射场与高斯溅射技术的水面重建提供了关键基准。该数据集的最新研究聚焦于折射感知的高斯溅射方法，通过融合环境高斯建模与单目法线估计，实现对动态水面折射效果的精确解耦与渲染。这一进展不仅推动了水下场景重建与虚实融合应用的前沿探索，也为自动驾驶、虚拟现实等领域的仿真环境构建提供了更真实的物理基础，标志着场景理解从静态几何向动态光学现象建模的重要跨越。