gwosc-o2-strain

该数据集来源于引力波开放科学中心（GWOSC）第二次观测运行（O2），包含汉福德（H1）、利文斯顿（L1）和处女座（V1）三个探测器以 16,384 Hz 采样率记录的引力波应变数据，以及相应的数据质量掩码和硬件注入掩码。数据以 Parquet 格式存储，每个探测器对应三种配置：应变（Strain）、数据质量掩码（DQmask）和硬件注入掩码（Injmask）。GPS时间范围为 1164558336–1187737600。H1 应变数据包含约 2485 亿行，L1 约 2560 亿行，V1 约 316 亿行；掩码数据以 1 Hz 采样率存储，H1、L1、V1 分别约 1517 万、1562 万和 192 万行。每个 Parquet 文件代表一个探测器在一个连续观测跨度内的数据，文件名格式为 DETECTOR-GPS_START-GPS_STOP-COLUMN.parquet。掩码位定义：DQmask 的 0-6 位分别表示 DATA、CBC_CAT1、CBC_CAT2、CBC_CAT3、BURST_CAT1、BURST_CAT2、BURST_CAT3；Injmask 的 0-4 位分别表示 NO_CBC_HW_INJ、NO_BURST_HW_INJ、NO_DETCHAR_HW_INJ、NO_CW_HW_INJ、NO_STOCH_HW_INJ。置位表示通过测试或相应硬件注入类型不存在。数据适用于引力波数据分析、信号处理、机器学习等研究任务。使用时需注意：选择与应变相同探测器和GPS区间的掩码；每个1 Hz掩码值对应16384个应变样本；应变样本可能包含NaN，需结合掩码使用；GPS时间不含闰秒，需使用GPS感知库进行转换。数据采用 CC-BY-4.0 许可证，使用时应引用相关论文。This dataset comes from the second observing run (O2) of the Gravitational Wave Open Science Center (GWOSC). It contains gravitational wave strain data recorded at a sampling rate of 16,384 Hz from the Hanford (H1), Livingston (L1), and Virgo (V1) detectors, along with corresponding data quality masks and hardware injection masks. The data is stored in Parquet format, with three configurations per detector: strain, data quality mask (DQmask), and hardware injection mask (Injmask). The GPS time range is 1164558336–1187737600. The H1 strain data contains approximately 248.5 billion rows, L1 about 256 billion rows, and V1 about 31.6 billion rows; the mask data is stored at a 1 Hz sampling rate, with H1, L1, and V1 having about 15.17 million, 15.62 million, and 1.92 million rows, respectively. Each Parquet file represents data for one detector within a continuous observation span, with the filename format DETECTOR-GPS_START-GPS_STOP-COLUMN.parquet. Mask bit definitions: bits 0-6 of DQmask indicate DATA, CBC_CAT1, CBC_CAT2, CBC_CAT3, BURST_CAT1, BURST_CAT2, BURST_CAT3 respectively; bits 0-4 of Injmask indicate NO_CBC_HW_INJ, NO_BURST_HW_INJ, NO_DETCHAR_HW_INJ, NO_CW_HW_INJ, NO_STOCH_HW_INJ respectively. A set bit indicates passing the test or the absence of the corresponding hardware injection type. The data is suitable for gravitational wave data analysis, signal processing, machine learning, and other research tasks. Usage notes: select masks with the same detector and GPS time interval as the strain; each 1 Hz mask value corresponds to 16384 strain samples; strain samples may contain NaN and should be used with masks; GPS time does not include leap seconds and requires a GPS-aware library for conversion. The data is licensed under CC-BY-4.0, and relevant papers should be cited when using.

原始信息汇总

GWOSC O2 16 kHz引力波应变数据集

数据集概述

本数据集由引力波开放科学中心（GWOSC） 提供，包含第二次观测运行（O2）期间三个探测器（H1、L1和V1）的16384 Hz应变记录。数据集按照探测器分别存储应变数据、数据质量掩码和硬件注入掩码，共分为9个配置。

基本信息

属性	详情
观测运行	O2（第二次观测运行）
GPS时间范围	1164558336–1187737600
探测器	H1（汉福德），L1（利文斯顿），V1（Virgo）
数据规模	n>1B（超过10亿行）
许可证	CC-BY-4.0
数据来源	GWOSC O2_16KHZ_R1 HDF5格式（7,990个文件，每个4,096秒）
文件格式	Parquet，共1,407个文件

配置结构与数据规格

每个Parquet文件代表一个探测器和一个源数据集的一个连续观测时段，文件命名格式为 DETECTOR-GPS_START-GPS_STOP-COLUMN.parquet。

配置	总行数	采样率	列名	类型	描述
H1-Strain	248,571,232,256	16,384 Hz	Strain	float64	H1引力波应变数据（15,171,584秒）
H1-DQmask	15,171,584	1 Hz	DQmask	uint32	H1数据质量通过位掩码
H1-Injmask	15,171,584	1 Hz	Injmask	uint32	H1硬件注入缺失掩码
L1-Strain	256,020,316,160	16,384 Hz	Strain	float64	L1引力波应变数据（15,626,240秒）
L1-DQmask	15,626,240	1 Hz	DQmask	uint32	L1数据质量通过位掩码
L1-Injmask	15,626,240	1 Hz	Injmask	uint32	L1硬件注入缺失掩码
V1-Strain	31,608,274,944	16,384 Hz	Strain	float64	V1引力波应变数据（1,929,216秒）
V1-DQmask	1,929,216	1 Hz	DQmask	uint32	V1数据质量通过位掩码
V1-Injmask	1,929,216	1 Hz	Injmask	uint32	V1硬件注入缺失掩码

连续时段数量：H1有185个，L1有273个，V1有11个。

掩码定义

DQmask（数据质量掩码）

定义位0–6，分别表示 DATA、CBC_CAT1、CBC_CAT2、CBC_CAT3、BURST_CAT1、BURST_CAT2、BURST_CAT3。置位表示对应的测试通过。

Injmask（硬件注入掩码）

定义位0–4，分别表示 NO_CBC_HW_INJ、NO_BURST_HW_INJ、NO_DETCHAR_HW_INJ、NO_CW_HW_INJ、NO_STOCH_HW_INJ。置位表示对应的硬件注入类型不存在。

关键使用说明

• 掩码匹配：需将同一探测器和同一GPS区间的 DQmask 和 Injmask 与应变数据配对使用。
• 掩码解码：每个1 Hz掩码值适用于16,384个应变样本，需对覆盖分析区间的每个掩码值进行解码。
• 数据质量：源应变样本可能包含IEEE float64 NaN值（应变不可用时），科研使用前务必参考掩码。
• 时间转换：GPS时间不含闰秒，转换为UTC时需使用支持GPS的时间库。
• 掩码类型：掩码值应作为整数位掩码处理，而非单一布尔值。
• 数据完整状态：本数据集正在上传中，在通知移除前文件清单不完整。

数据溯源

• 数据源为GWOSC的 O2_16KHZ_R1 HDF5发布，包含3,704个H1文件、3,815个L1文件和471个V1文件。
• GWOSC单独发布的4 kHz文件及其他格式不包含在本数据集中。
• 每个文件均携带 astro-legacy-archive/timestream 文档，记录采样信息、探测器、HDF5路径和属性、掩码定义、有序源URL及校验和、再生成来源。

参考链接

• GWOSC O2发布页
• GWOSC O2数据集存档
• GWOSC O2数据发布DOI
• 开放数据论文

引用与致谢

引用请参考GWOSC O1/O2开放数据论文：

bibtex @article{Abbott2021GWOSC, author = {{LIGO Scientific Collaboration} and {Virgo Collaboration}}, title = {Open data from the first and second observing runs of Advanced LIGO and Advanced Virgo}, journal = {SoftwareX}, volume = {13}, pages = {100658}, year = {2021}, doi = {10.1016/j.softx.2021.100658}, eprint = {1912.11716}, archivePrefix = {arXiv} }

GWOSC要求使用数据时注明其标准致谢声明，具体内容请参见GWOSC致谢页面。

搜集汇总

数据集介绍

构建方式

GWOSC O2 16 kHz引力波应变数据集源自引力波开放科学中心（GWOSC）第二次观测运行（O2）的官方发布，收录了汉福德（H1）、利文斯顿（L1）和处女座（V1）三个探测器的高频应变数据。原始数据以HDF5格式存储，每个文件覆盖4096秒，数据源共包含3704个H1文件、3815个L1文件和471个V1文件。构建过程中，将每个探测器的应变时间序列、数据质量掩码和硬件注入掩码分别转换为Parquet格式，并按探测器与连续观测时段组织为独立配置。每个Parquet文件对应一个探测器的一个连续观测区间，文件名明确标识探测器、GPS起止时间及数据类型，确保与原始数据源的逻辑一致性。大型应变区间被物理分割为多个Parquet文件，但保持逻辑内容的完整性。最终持有1,427个Parquet文件，总大小约3.7 TB，并提供完整的校验信息以保障数据完整性。

使用方法

用户可通过Hugging Face的datasets库加载该数据集，每个探测器提供三种配置：Strain（应变）、DQmask（数据质量掩码）和Injmask（硬件注入掩码）。使用时需根据分析需求选择同一探测器与GPS区间的相应配置，例如加载H1-Strain并配合H1-DQmask进行数据质量筛选。由于掩码频率为1 Hz，每个掩码值对应16,384个应变样本，解码时应将掩码视为整数位掩码而非布尔值。数据集支持流式加载以处理大规模数据，部分文件可通过hf_hub_download直接下载Parquet文件并读取元数据。科研人员应参阅元数据中的timestream文档以获得详细的采样与掩码定义信息，同时注意GPS时间不含闰秒，转换UTC时需使用GPS感知库。

背景与挑战

背景概述

引力波天文学自2015年首次直接探测以来，已迈入多信使观测的新纪元。作为该领域的核心数据源，Gravitational Wave Open Science Center（GWOSC）持续发布来自先进激光干涉仪（Advanced LIGO与Advanced Virgo）的观测数据。本数据集源自GWOSC O2运行周期，由LIGO科学合作组织与Virgo合作组织共同创建，并于其正式开放数据论文（arXiv:1912.11716）中详细描述。该数据集以16,384 Hz的高采样率记录了H1、L1及V1三个探测器在O2运行期间的引力波应变时间序列，同时提供配套的1 Hz数据质量与硬件注入掩码，为全球研究者提供了高保真的原始观测资料。其发布极大地促进了引力波信号的搜索、参数估计及宇宙学应用等研究，成为引力波开放科学领域的基础性资源。

当前挑战

该数据集所应对的挑战首先源于引力波探测本身：应变信号极其微弱，淹没在探测器噪声中，需要高频采样与严苛的数据质量筛选才能鉴别真实事件。同时，O2运行期间探测器状态各异，存在大量数据间隙与硬件注入，如何在不丢失信息的前提下，将分散的HDF5文件转换为统一、可用的格式并保持时间连续性与掩码对应关系，是构建中的关键难题。此外，数据规模庞大，超过1.4万Parquet文件、总计约3.7万亿字节，需要确保文件完整性及来源可追溯性。数据集最终通过将应变与掩码分离存储、提供逐秒位掩码及详细的元数据，有效应对了这些挑战，为科学分析提供了坚实的数据基础。

常用场景

经典使用场景

引力波天文学作为二十一世纪最激动人心的前沿领域之一，其数据分析依赖于对探测器输出的时间序列应变记录的精细处理。该数据集提供了先进激光干涉仪引力波观测站（Advanced LIGO）与Virgo探测器在第二次观测运行（O2）期间，以16,384赫兹采样率记录的引力波应变数据，并同步配备1赫兹的数据质量掩码（DQmask）与硬件注入掩码（Injmask）。此类高保真时间序列数据是进行引力波信号搜索、参数估计以及验证广义相对论预言的基础资料，尤其适用于开展瞬态信号（如致密双星并合）的匹配滤波分析和连续引力波的盲搜研究。

解决学术问题

该数据集的发布有力回应了引力波数据分析中数据标准化与可重复性挑战。通过将分布式存储的HDF5原始文件转化为便于现代数据分析框架直接调用的Parquet格式，并详尽记录数据质量标记，研究者得以系统性地剔除仪器噪声与人为注入信号带来的污染，提高信号识别的置信度。它解决了以往研究者在数据获取、格式转换和质量控制环节耗费大量精力的问题，为开展引力波天文学、宇宙学及极端物理条件下的物质性质等学术探讨，提供了标准化的数据基石，极大推动了开放科学在天体物理领域的实践。

实际应用

该数据集的实际应用场景极为广泛。数据及其掩码信息可直接服务于引力波事件的快速定位与验证，协助天文台发布公共警报。对于开发新的引力波信号处理算法，如深度学习的信号去噪与识别模型，该数据集提供了丰富且带有标注的训练样本。此外，其长时间连续且包含数据质量标记的特点，也使其成为研究和监测探测器性能、评估环境及仪器噪声对灵敏度影响的宝贵资料，为未来探测器的升级与运行策略优化提供了实证依据。

数据集最近研究

最新研究方向

该数据集聚焦于引力波天文学中二次观测运行（O2）的高频应变数据，为研究双黑洞并合等极端天体物理过程提供了关键素材。当前前沿方向涵盖利用深度学习算法从海量时频数据中自动识别引力波信号，并结合数据质量掩码与硬件注入掩码开展噪声表征与鲁棒性分析。数据集的多探测器覆盖与高采样率有助于多信使天文学协同观测，推动宇宙学参数精确测量及引力波背景探测。其开放共享模式与标准化格式亦为大规模巡天时代的数据驱动研究树立了范式，对引力波物理的纵深发展具有深远意义。