EiffL/DESI2

来自DESI光谱调查早期数据发布的1%调查数据。

原始信息汇总

数据集概述

数据集描述

该数据集来自DESI光谱调查早期数据发布的百分之一调查。

数据集配置

• 配置名称: EDR_SV3
• 版本: 0.0.1
• 默认配置: 是

数据文件

• 分割: train
• 路径: data/EDR_SV3/*.parquet

数据集信息

• 配置名称: EDR_SV3
• 特征:
  • TARGETID: 数据类型 int64
  • SURVEY: 数据类型 string
  • PROGRAM: 数据类型 string
  • HEALPIX: 数据类型 int32
  • TARGET_RA: 数据类型 float64
  • TARGET_DEC: 数据类型 float64
  • RELEASE: 数据类型 int16
  • BRICKID: 数据类型 int32
  • BRICK_OBJID: 数据类型 int32
  • Z: 数据类型 float64
  • EBV: 数据类型 float32
  • FLUX_G: 数据类型 float32
  • FLUX_R: 数据类型 float32
  • FLUX_Z: 数据类型 float32
  • FLUX_IVAR_G: 数据类型 float32
  • FLUX_IVAR_R: 数据类型 float32
  • FLUX_IVAR_Z: 数据类型 float32
  • wave: 数据类型 float32
  • flux: 序列类型 float32，长度 7781
  • ivar: 序列类型 float32，长度 7781

数据集分割

• 名称: train
• 字节数: 72417839557
• 样本数: 1126441

数据集大小

• 下载大小: 70656849405
• 数据集大小: 72417839557

许可

• 许可: MIT

搜集汇总

数据集介绍

构建方式

DESI（暗能量光谱仪）巡天项目早期数据发布中的“百分之一巡天”数据集，旨在为宇宙大尺度结构研究提供高精度光谱样本。该数据集基于DESI的早期数据发布（EDR），选取了巡天区域中约1%的观测目标，通过多光纤光谱仪获取了超过112万个天体的光谱信息。数据以Parquet格式存储于HuggingFace平台，包含目标标识、赤经赤纬、红移、消光系数、通量及其方差等关键参数，并提供了从3800Å至9800Å范围内共7781个波长的通量与逆方差光谱序列。构建过程严格遵循DESI数据处理的标准化流程，确保了光谱数据的可靠性与一致性。

特点

该数据集的核心特色在于其兼具深度与广度的光谱覆盖。一方面，它提供了从紫外到近红外连续且高分辨率的通量序列，使得对天体物理特性的精细分析成为可能；另一方面，数据集囊括了超过百万个天体的多波段测光信息（g、r、z波段）及其对应的红移测量，为研究星系分布、暗能量性质及宇宙膨胀历史提供了宝贵素材。此外，数据集采用HEALPix像素化编码对天区进行划分，便于进行空间统计与交叉匹配。其公开的许可证（MIT）亦鼓励了广泛的学术复用与二次开发。

使用方法

用户可通过HuggingFace的`datasets`库便捷加载该数据集，指定配置名为`EDR_SV3`并选择`train`分割即可获取包含1126441个样本的完整训练集。数据以列式存储，支持高效筛选与批量处理。对于光谱分析，可直接访问`wave`字段获取波长网格，利用`flux`与`ivar`序列进行谱线拟合或红移验证；测光数据则可通过`FLUX_G`、`FLUX_R`、`FLUX_Z`等字段结合`EBV`消光校正进行星等计算。建议使用Python科学计算栈（如NumPy、Astropy）进行后续分析，并引用DESI合作组的相关文献以规范学术使用。

背景与挑战

背景概述

DESI（暗能量光谱巡天）是当前国际天文学领域最具雄心的大型巡天项目之一，旨在通过获取数千万个天体的高精度光谱，揭示暗能量本质、宇宙膨胀历史以及星系形成演化规律。EiffL/DESI2数据集源自DESI早期数据发布中的“百分之一巡天”（One Percent Survey），于2023年首次公开，由劳伦斯伯克利国家实验室主导，联合全球数十家研究机构共同构建。该数据集包含约112万条光谱数据，涵盖目标天体的赤经、赤纬、红移、通量及一维光谱序列等关键信息，为宇宙学参数约束、星系分类及大尺度结构研究提供了前所未有的高信噪比样本。作为DESI项目早期成果的浓缩精华，该数据集不仅验证了巡天策略的可行性，更成为连接理论模型与观测数据的桥梁，推动了精确宇宙学时代的实证研究。

当前挑战

该数据集面临的核心挑战在于处理海量光谱数据中的噪声与系统误差。首先，天体红移测量极易受大气扰动、仪器响应及目标亮度差异影响，导致红移估计存在不确定性，尤其对于高红移或低信噪比源，错误分类风险显著上升。其次，构建过程中需解决数据同质化难题：来自不同观测夜、不同焦面光纤的位置精度与通量标定需统一至亚毫角秒量级，这对数据处理流水线的鲁棒性提出严苛要求。此外，约7781个波长点的连续光谱序列包含大量冗余信息，如何从高维特征中高效提取物理参数（如恒星形成率、金属丰度）而避免过拟合，仍是机器学习方法应用时的关键瓶颈。数据规模达70GB以上，亦对存储与计算资源形成挑战。

常用场景

经典使用场景

DESI（暗能量光谱巡天）早期数据发布中的“百分之一巡天”数据集（EiffL/DESI2）是宇宙学与天体物理研究的重要基石。该数据集涵盖了超过112万个天体的光谱信息，包括红移（Z）、通量（FLUX_G/R/Z）及其逆方差（IVAR），以及完整的波长-通量光谱序列。经典使用场景集中于利用这些高精度光谱数据，通过红移测量与星系分类，构建三维宇宙大尺度结构图，进而精确约束暗能量状态方程参数，检验宇宙学标准模型。

解决学术问题

该数据集有效解决了诸多学术难题：首先，它提供了早期巡天中最大样本量的均匀光谱，助力研究星系形成与演化中的恒星形成率、金属丰度等物理机制；其次，通过测量重子声学振荡（BAO）信号，显著提升了暗能量密度与宇宙膨胀历史的测量精度；此外，数据中的多波段测光与光谱联合分析，为弱引力透镜效应研究提供了高信噪比的前景样本，推动了宇宙学参数联合约束的突破。

衍生相关工作

基于该数据集衍生了多项里程碑式工作：DESI合作组利用早期数据发布了首批BAO测量结果，其精度与SDSS/BOSS相当，验证了巡天策略的有效性；后续研究结合DESI光谱与LSST测光，开发了红移概率密度估计的深度学习方法（如DESI光谱红移网络）；此外，该数据催生了多个开源工具包，如用于光谱模拟的DESI模拟工具和用于天体分类的SPARCL框架，促进了宇宙学数据科学的跨领域协作。