hamiltonian_pdes

该数据集包含了一维的Advection和KdV方程数据集以及二维的浅水方程数据集。一维数据集具有128或256的分辨率，并分别包含200个训练时间步和1000或200个验证时间步。二维数据集具有256x256的分辨率和101个时间步。此外，还提供了一个包含2048个KdV样本的列表，这些样本在Hamiltonian上的变化最小。数据集以.h5格式组织，包含时间、数据和位置信息。对于二维数据集，还提供了归一化统计数据。

This dataset encompasses one-dimensional datasets for the Advection and KdV equations, as well as a two-dimensional dataset for the Shallow Water Equations. The one-dimensional datasets have resolutions of 128 or 256, with 200 training time steps and either 1000 or 200 validation time steps respectively. The two-dimensional dataset features a resolution of 256×256 and includes 101 time steps. Additionally, a list of 2048 KdV samples with minimal Hamiltonian variation is provided. The dataset is organized in .h5 format, containing time, data and position information. Normalized statistical data is also supplied for the two-dimensional dataset.

原始信息汇总

数据集概述：Neural Functional - Learning Function to Scalar Maps for Neural PDE Surrogates

数据集基本信息

• 许可证: MIT
• 来源:
  • 1D数据: 来自Masked Autoencoder are PDE Learners和Lie Point Symmetry Data Augmentation for Neural PDE Solvers
  • 2D数据: 来自PyClaw

1D数据集

包含的方程

• 1D Advection方程
• 1D KdV方程

数据规格

• Advection方程:
  • 分辨率: 128
  • 训练集时间步: 200
  • 验证集时间步: 1000
• KdV方程:
  • 分辨率: 256
  • 训练集时间步: 200
  • 验证集时间步: 200 (论文中仅使用50个时间步)

数据结构

• 文件格式: HDF5 (.h5)

• 组织结构:

  dataset.h5 (包含键: train或valid)

  • train (包含键: t, u, x)
    • t: 形状 (num_samples, num_timesteps) - 每个样本在每个时间步的时间
    • u: 形状 (num_samples, num_timesteps, resolution_x) - 每个样本在每个时间步和x位置的数据
    • x: 形状 (num_samples, resolution_x) - 每个样本沿x轴的位置

附加文件

• H_list_KdV.pkl: 包含2048个KdV样本，这些样本在Hamiltonian中变化最小

2D数据集

包含的方程

• 2D Shallow-Water Equations (SWE)

数据规格

• 分辨率: 256x256
• 时间步: 101
• 特殊数据集: SWE_Gaussian (仅用于验证，测试OOD行为)

数据结构

• 文件格式: HDF5 (.h5)

• 组织结构:

  dataset.h5 (包含键: train或valid)

  • train (包含键: t, u, x)
    • t: 形状 (num_timesteps) - 每个时间步的时间(假设每个样本相同)
    • u: 形状 (num_samples, num_timesteps, resolution_x, resolution_y, 3) - 每个样本在每个时间步和位置的数据(高度, x速度, y速度)
    • x: 形状 (resolution_x, resolution_y, 2) - 每个位置的x和y坐标(假设每个样本相同)

附加信息

• 提供训练数据集上的归一化统计信息

搜集汇总

数据集介绍

构建方式

在偏微分方程数值模拟领域，Hamiltonian_PDEs数据集通过高精度数值求解器构建而成。一维数据集源自Advection和KdV方程，分别采用128和256的空间分辨率，配合200-1000个时间步长；二维浅水方程数据集通过PyClaw生成，具备256×256网格分辨率和101个时间步。数据以HDF5格式分层存储，包含时间步长、空间坐标场及物理量场等多维度张量，其中KdV方程样本还特别筛选了哈密顿量波动最小的2048个样本以规避数值误差。

使用方法

使用者可通过HDF5接口直接访问时空张量数据，其中't'键对应时间序列，'u'键存储多维物理场，'x'键记录空间网格坐标。针对KdV方程建议优先加载预筛选的低哈密顿量波动样本，训练时可采用论文推荐的50步时间窗口截取策略。对于浅水方程数据集，推荐利用附带的归一化参数对高度场和速度场进行标准化处理。验证阶段可通过对比正弦初始条件训练模型在Gaussian初始条件上的表现，系统评估模型外推能力。

背景与挑战

背景概述

Hamiltonian_pdes数据集由Anthony Zhou等研究人员于近年构建，专注于偏微分方程(PDE)的数值模拟与机器学习交叉领域。该数据集源于两项开创性研究——'Masked Autoencoder are PDE Learners'和'Lie Point Symmetry Data Augmentation for Neural PDE Solvers'，旨在为神经网络代理模型提供标量映射学习的基础数据。数据集包含一维平流方程、KdV方程以及二维浅水方程的高分辨率数值解，时空分辨率分别达到128-256网格点和200-1000时间步，为研究哈密顿系统中守恒律的机器学习建模提供了重要基准。

当前挑战

该数据集面临的核心科学挑战在于哈密顿系统的非线性守恒特性难以精确保持。KdV方程中高度非线性的哈密顿量导致数值解存在理论守恒量与计算结果的偏差，需通过预筛选2048个低变分样本缓解。构建过程中，二维浅水方程的复杂多场耦合(高度场与速度场)带来数据标准化难题，需独立处理不同物理量的量纲差异。时空分辨率的大幅提升(256x256网格)同时带来了数据存储与计算效率的双重挑战，这对神经网络代理模型的训练策略提出了更高要求。

常用场景

经典使用场景

在偏微分方程（PDE）研究领域，hamiltonian_pdes数据集为1D Advection、1D KdV和2D Shallow-Water Equations提供了高分辨率的数值模拟数据。这些数据被广泛用于开发和验证基于神经网络的PDE代理模型，特别是在研究哈密顿系统守恒性质时，数据集通过精确记录时间步长和空间节点信息，为模型训练提供了可靠的基准。

解决学术问题

该数据集有效解决了PDE数值解的高保真度模拟问题，尤其是针对哈密顿系统的守恒性挑战。通过提供经过筛选的低哈密顿变化样本（如H_list_KdV.pkl），数据集帮助研究者避免学习非保守行为，从而提升模型的理论一致性。其多维度的时空数据组织方式，为研究PDE的对称性、稳定性及外推性能提供了标准化实验平台。

实际应用

在气象模拟、流体动力学等工程领域，该数据集支持快速开发替代传统数值求解器的轻量化模型。2D浅水方程数据可直接应用于洪水预测、洋流建模等场景，而高斯初始条件的验证集则为模型在非均匀分布数据上的泛化能力评估提供了重要工具。数据的分辨率和时间步长设计充分考虑了实际应用中对精度与效率的平衡需求。

数据集最近研究

最新研究方向

在偏微分方程（PDE）的神经网络代理模型领域，Hamiltonian_PDEs数据集正推动着函数到标量映射学习的前沿探索。该数据集通过整合一维平流方程、KdV方程及二维浅水方程的高分辨率模拟数据，为研究哈密顿系统的守恒特性提供了关键基准。最新研究聚焦于利用该数据集训练具有物理约束的神经网络，特别是在处理非线性哈密顿量守恒难题时，通过预筛选低变分样本优化模型性能。二维浅水方程数据集的引入，进一步拓展了模型在复杂流体动力学场景中的外推能力验证，为气候建模和湍流模拟等跨学科应用提供了新的研究范式。