MuSCAT-RawImage

数据集按仪器、波段和观测进行组织。提供了来自MuSCAT-3和MuSCAT-4在g、r和i波段的观测数据。每个波段下的子目录对应一个观测会话。数据集以CC BY-NC 4.0许可公开在Hugging Face上。

This dataset is organized by instrument, filter band, and observation session. It hosts observational data collected by MuSCAT-3 and MuSCAT-4 in the g, r, and i photometric bands. Subdirectories within each filter band correspond to individual observation sessions. The dataset is publicly available on Hugging Face under the CC BY-NC 4.0 license.

原始信息汇总

数据集概述

数据集基本信息

• 数据集名称：Denoising the Deep Sky: Physics-Based CCD Noise Formation for Astronomical Imaging
• 数据集地址：https://huggingface.co/datasets/ToferFish/MuSCAT-RawImage
• 许可协议：CC BY-NC 4.0

数据内容与来源

• 观测仪器：MuSCAT-3 与 MuSCAT-4。
• 观测波段：g、r 和 i 波段。
• 数据格式：原始图像以压缩的 FITS (.fits.fz) 格式提供。
• 数据组织：数据按仪器、波段和观测会话组织。每个波段下的子目录对应一个独立的观测会话。

数据结构

数据集根目录结构示例如下：

dataset_root/ ├── muscat3_g/ │ ├── <observation_id_1>/ │ │ ├── calib/ │ │ │ ├── BIAS_.fits.fz │ │ │ ├── BPM_.fits.fz │ │ │ ├── DARK_.fits.fz │ │ │ └── SKYFLAT_.fits.fz │ │ ├── data/ │ │ │ ├── <obs_id>_calib.fits.fz │ │ │ ├── <obs_id>_mask.fits.fz │ │ │ ├── <obs_id>_mean.fits.fz │ │ │ ├── <obs_id>_os.fits.fz │ │ │ └── <obs_id>_raw.fits.fz │ │ ├── e91/ │ │ ├── calib.json │ │ └── info.json │ └── <observation_id_2>/ │ └── ... ... └── muscat4_i/ └── ...

数据产品说明

每个观测目录中包含的主要数据产品如下：

产品	符号	单位	描述
偏置（主偏置）	BIAS	e⁻	电子偏移估计；在电子域中减去。
暗电流（主暗电流）	DARK	e⁻ / s	暗电流模板，按曝光时间缩放并在电子域中减去。
天光平场（主天光平场）	SKYFLAT	–	用于像素响应变化和渐晕的乘法校正；通过在电子域中除法应用。
原始帧	RAW	ADU (DN)	观测到的原始图像；首先在 ADU 中应用过扫描校正。
校准帧	CALIB	ADU (DN)	BANZAI 校准输出；在电子中计算并转换回 ADU 存储。
噪声帧（输入）	OS	ADU (DN)	用作噪声输入的过扫描校正帧。
叠加帧	MEAN	ADU (DN)	通过叠加多个 E91 帧获得的高信噪比参考帧，以抑制随机噪声同时保留场景结构。
额外校准帧	E91	ADU (DN)	用于构建 MEAN 的额外校准帧。
背景掩膜	MASK	–	与每次观测相关的源掩膜，其中 0 表示源像素，1 表示背景像素。
拼接帧	DRZ	ADU (DN)	使用 drizzle 算法组合多个 E91 帧构建的帧。
增益	GAIN	e⁻ / ADU	电子与 ADU 之间的转换因子：e⁻ = ADU × GAIN。

使用建议

• 数据查看：可使用 SAOImageDS9 (https://sites.google.com/cfa.harvard.edu/saoimageds9) 或 VS Code 的 FITS 扩展 (https://marketplace.visualstudio.com/items?itemName=fits.fitsimagevoy) 查看 FITS 文件。
• 训练准备：为获得更快的 I/O 速度，建议将原始图像转换为 NumPy (.npy) 格式用于训练。

搜集汇总

数据集介绍

构建方式

在深空天文成像领域，MuSCAT-RawImage数据集通过整合MuSCAT-3和MuSCAT-4望远镜在g、r、i波段采集的原始观测数据构建而成。数据以观测会话为单位组织，每个子目录包含校准文件、原始帧及处理后的图像产品，如偏置、暗电流和天空平场模板。这些数据以压缩FITS格式存储，并提供了转换为NumPy格式的指导，以优化训练过程中的输入输出效率。

使用方法

使用该数据集时，研究人员可通过提供的训练脚本配置输入与标签文件后缀，利用UNet或PMN-UNet架构进行去噪模型训练。推理阶段支持从检查点加载模型，对测试数据生成预测，并以FITS或NumPy格式输出结果。评估工具允许计算PSNR、SSIM和NMAD等指标，便于量化去噪性能，从而推动深空图像处理算法的进步。

背景与挑战

背景概述

在当代天文观测领域，电荷耦合器件（CCD）作为核心成像传感器，其固有的噪声问题严重制约了深空天体图像的信号保真度与科学价值。MuSCAT-RawImage数据集应运而生，由Shuhong Liu、Tatsuya Harada等研究人员于2026年构建，旨在为基于物理的CCD噪声建模与去噪算法研究提供高质量基准数据。该数据集汇集了MuSCAT-3与MuSCAT-4望远镜在g、r、i波段获取的原始观测图像，不仅包含经过标准校准的帧数据，还提供了高信噪比的参考图像与详尽的噪声成分标注。其核心研究问题聚焦于通过数据驱动方法解析CCD噪声的物理形成机制，从而推动天文图像去噪技术的革新，为系外行星探测、星系演化等前沿课题提供更纯净的观测基础。

当前挑战

MuSCAT-RawImage数据集致力于解决天文图像去噪这一经典难题，其核心挑战在于如何从高度复杂的噪声背景中分离出微弱的天体信号。噪声来源多样，包括读出噪声、暗电流、光子散粒噪声以及像素响应非均匀性，这些成分在观测中相互耦合，使得传统去噪方法难以在保留天体细微结构的同时实现有效降噪。在数据集构建过程中，研究人员面临多重技术障碍：原始CCD数据的校准流程需严格遵循天文数据处理规范，确保偏置、暗场、平场等校正步骤的精确性；高信噪比参考图像的生成依赖于多帧叠加技术，这对观测序列的稳定性与对齐精度提出了极高要求；此外，数据格式的标准化与大规模存储管理亦需克服FITS文件处理效率与计算资源分配之间的平衡难题。

常用场景

经典使用场景

在天文成像领域，MuSCAT-RawImage数据集为电荷耦合器件（CCD）噪声建模与去噪研究提供了关键资源。该数据集汇集了MuSCAT-3和MuSCAT-4望远镜在g、r、i波段获取的原始观测图像，包含偏置、暗电流、平场校正及原始帧等多类数据产品。研究人员可借助这些高质量的真实观测数据，构建基于物理的噪声形成模型，进而开发先进的去噪算法，以提升深空天体图像的信号质量。

解决学术问题

该数据集有效应对了天文图像处理中噪声分离与信号恢复的核心挑战。传统方法往往依赖简化假设，难以精确刻画CCD传感器复杂的噪声特性。MuSCAT-RawImage通过提供配套的校准帧与高信噪比参考帧，使学者能够深入探究噪声的物理成因，发展出更准确的噪声估计与抑制技术。这不仅推动了计算天体物理学的发展，也为微弱天体信号的检测与定量分析奠定了坚实基础。

实际应用

在实际天文观测中，MuSCAT-RawImage数据集的应用显著提升了数据处理流程的自动化与可靠性。观测机构可利用该数据集训练的去噪模型，对原始CCD图像进行实时或后处理，有效抑制随机噪声与系统误差，从而获得更清晰的天体图像。这直接有益于系外行星探测、星系形态研究以及瞬变天体监测等领域，使得科学家能够从嘈杂数据中提取更精确的光度与形态信息。

数据集最近研究

最新研究方向

在天文成像领域，随着观测设备灵敏度的不断提升，电荷耦合器件（CCD）采集的原始图像中复杂的噪声成分已成为制约微弱天体信号提取的关键瓶颈。MuSCAT-RawImage数据集的发布，为基于物理的CCD噪声建模与去噪研究提供了高保真的基准数据，其包含的多波段、多观测周期的校准帧与原始帧，精准模拟了偏置、暗电流及像素响应非均匀性等噪声源。当前研究前沿聚焦于利用该数据集训练深度神经网络，如U-Net及其变体，以实现对天文图像中噪声的物理引导分离，从而显著提升信噪比，助力系外行星探测、瞬变源识别等科学目标的实现。这一进展不仅推动了计算天体物理学与机器学习的交叉融合，也为下一代大规模巡天项目的数据处理奠定了算法基础。