Dark3R

Dark3R数据集是一个用于低光照和噪声图像条件下3D重建的数据集，包含多个场景、曝光和分辨率级别的图像数据。数据集按场景、曝光和分辨率三个层次组织，每个场景文件夹包含多个曝光级别，每个曝光级别下又包含不同分辨率的图像。命名约定为`iso<iso值>_s<1或0>_<曝光时间>`，例如`iso102400_s1_00125`表示ISO 102400和曝光时间为1/125秒。数据集还包括COLMAP姿势，用于计算姿势误差。

The Dark3R dataset is a specialized dataset for 3D reconstruction under low-light and noisy imaging conditions, encompassing image data across multiple scenes, exposure levels, and resolution tiers. It is organized in three hierarchical categories: scene, exposure, and resolution. Each scene folder contains multiple exposure levels, and each exposure level further includes images of varying resolutions. The naming convention follows the format `iso<iso_value>_s<1 or 0>_<exposure_time>`. For instance, `iso102400_s1_00125` denotes an ISO value of 102400 and an exposure time of 1/125 seconds. The dataset also includes COLMAP camera poses for pose error calculation.

原始信息汇总

Dark3R 数据集概述

数据集基本信息

• 数据集名称：Dark3R
• 核心任务：低光照与噪声图像下的三维重建
• 技术基础：基于 MASt3R 模型，使用 LoRA 微调技术进行适配

数据集内容与结构

数据组织方式

数据集按三级层次结构组织：

1. 场景：以 bc 开头的文件夹（如 bc040_chapel）。
2. 曝光：每个场景文件夹下包含多个以 iso 开头的曝光文件夹（如 iso102400_s1_00080）。
3. 分辨率：每个曝光文件夹下包含不同分辨率的图像数据文件夹（如 downsampled_004、images_arw）。

文件夹命名规则

曝光文件夹的命名格式为 iso<iso value>_s<1 or 0>_<exposure time>。

• 示例：iso102400_s1_00125 表示 ISO 102400，曝光时间 1/125秒。
• 示例：iso102400_s0_00003 表示 ISO 102400，曝光时间 3秒。

数据类型

1. 真实捕获数据：使用三脚架拍摄。
2. 合成捕获数据：模拟手持拍摄，使用泊松-高斯模型合成噪声。

数据获取与准备

下载方式

• 主要方法：使用项目提供的 Python 脚本下载。
  • 真实数据配置：download/config/full_scenes_downsampled.yaml
  • 合成数据配置：download/config/synthetic_downsampled.yaml
• 备用链接：可通过提供的 Dropbox 链接下载完整数据集。

关联文件

• COLMAP 位姿：位于下载数据集解压后的 colmap_long_exposure 文件夹中，作为长曝光图像的参考位姿，用于计算位姿误差。
• 详细信息：更多数据集详情请参阅 download/dataset_info.md。

数据用途

该数据集主要用于：

1. 训练 Dark3R 模型，学习低光照条件下的密集匹配和三维一致性。
2. 使用预训练模型进行三维重建推理。
3. 评估重建结果的相机位姿精度和深度图质量。

备注

• 原始 RAW 文件体积非常大，若无必要，建议使用下采样版本。
• 数据集的详细说明和引用请参考提供的论文信息。

搜集汇总

数据集介绍

构建方式

在三维重建领域，低光照环境下的图像处理一直面临巨大挑战。Dark3R数据集的构建过程充分考虑了这一现实需求，其核心在于对MASt3R模型进行低秩自适应微调，使其能够有效处理低光照及高噪声图像。该数据集不仅包含真实场景下的手持与三脚架拍摄数据，还通过泊松-高斯噪声模型合成了大量模拟数据，从而构建了一个覆盖多种光照条件与噪声水平的综合性训练集。数据组织采用场景、曝光度与分辨率的三层分级结构，确保了数据管理的系统性与可扩展性。

使用方法

针对Dark3R数据集的使用，研究者需遵循一套完整的流程以充分发挥其价值。首先，通过提供的Python脚本下载并配置数据集，用户可根据研究重点选择下载真实捕获数据或合成数据。在模型训练阶段，需预先利用图像检索生成训练图像对，随后调用分布式训练脚本，结合真实数据与合成数据对预训练模型进行微调。对于推理任务，用户通过指定图像路径与微调后的LoRA权重，即可运行前向传播脚本进行三维重建，并输出相机位姿与场景点云。此外，配套的深度图导出、可视化及评估脚本，为定量分析重建与位姿估计精度提供了完备的工具链。

背景与挑战

背景概述

Dark3R数据集由Andrew Y Guo等研究人员于2026年提出，旨在解决低光照条件下三维重建的核心研究问题。该数据集基于MASt3R框架，通过LoRA微调技术扩展至低光照与高噪声图像环境，为计算机视觉领域中的运动恢复结构（SfM）任务提供了关键数据支持。其创建不仅推动了低光照视觉感知技术的发展，也为自动驾驶、夜间监控等实际应用场景奠定了数据基础，在三维视觉研究领域具有显著影响力。

当前挑战

Dark3R数据集所解决的领域挑战在于低光照图像的三维重建，此类图像常存在信噪比低、细节丢失严重等问题，导致传统SfM方法难以准确估计相机姿态与场景几何。在构建过程中，数据集面临采集真实低光照场景的挑战，需平衡曝光参数与图像质量，同时合成数据需模拟逼真的噪声模型以覆盖多样光照条件。此外，数据标注依赖高精度COLMAP姿态作为基准，对采集设备的稳定性与标定精度提出了较高要求。

常用场景

经典使用场景

在计算机视觉领域，低光照条件下的三维重建一直是一项极具挑战性的任务。Dark3R数据集通过提供包含多种ISO值与曝光时间的真实与合成低光照图像序列，为研究社区构建了一个标准化的评估基准。该数据集最经典的使用场景是训练和验证基于学习的运动恢复结构（SfM）模型，使其能够在极端暗光与高噪声环境中，从图像序列中稳健地估计相机姿态并重建稀疏三维点云。

解决学术问题

Dark3R数据集主要致力于解决低光照视觉中三维几何信息恢复的核心学术难题。传统SfM与多视图立体视觉方法在光照充足时表现优异，但在暗光条件下，图像信噪比急剧下降，导致特征匹配失败与重建质量崩溃。该数据集通过提供配对的低光与参考长曝光图像，以及精确的COLMAP位姿真值，使得研究者能够系统性地探究模型对噪声的鲁棒性、在极低信噪比下的特征不变性学习，以及如何维持跨光照条件的三维一致性，从而推动了低光三维感知理论的发展。

实际应用

Dark3R数据集所支撑的技术具有广泛的实际应用前景。在自动驾驶领域，车辆在夜间或隧道等低光环境下运行，需要可靠的环境三维感知以进行路径规划与障碍物避让。在安防监控中，对夜间监控视频进行三维场景分析有助于事件重建与目标追踪。此外，在文化遗产数字化领域，该技术可用于对光线微弱的洞穴壁画或文物内部进行非侵入式三维扫描与存档，为文物保护提供高保真的数字资产。

数据集最近研究

最新研究方向

在三维视觉与计算摄影学领域，低光照环境下的三维重建长期面临图像噪声严重、特征信息匮乏等挑战。Dark3R数据集通过整合真实低光照场景与合成噪声数据，并基于MASt3R模型引入低秩自适应微调技术，显著提升了在极端光照条件下的运动恢复结构与密集匹配性能。该数据集推动了夜间监控、自动驾驶感知及考古数字化等应用的前沿探索，其结合神经辐射场技术衍生的Dark3R-NeRF分支，进一步促进了动态场景建模与实时渲染方法的发展，为鲁棒性三维感知系统的构建提供了关键基准。