CMEMS

<p align="center"> <strong> <span style="font-size: 30px;">CMEMS</span> </strong> </p> ## 数据集介绍 CMEMS（Copernicus Marine Environment Monitoring Service）是用于全球海洋预报任务的 HDF5 网格数据集。它通过整合卫星与现场观测数据并运行海洋数值模型，提供涵盖全球及欧洲区域海洋的物理（蓝色）、生物地球化学（绿色）和海冰（白色）等多种变量的实时分析、预报及历史重建数据。 ## 仓库说明 本标准化数据仓库包含 1993-1999 年 7 个年度文件，每个文件提供海洋变量场、全局均值和全局标准差，可用于 XiHe 模型训练、验证、测试、推理输入和评测。 默认划分为训练 1993-1997、验证 1998、测试 1999。每个年份文件包含 3 个 24 小时间隔样本。 ## 文件说明 每个 `data/<year>.h5` 文件包含： | HDF5 路径 | shape | dtype | 说明 | |---|---|---|---| | `fields` | `[3, 96, 2041, 4320]` | `float32` | 3 个时间样本、96 个变量、全球网格 | | `global_means` | `[1, 96, 1, 1]` | `float32` | 与变量顺序对齐的全局均值 | | `global_stds` | `[1, 96, 1, 1]` | `float32` | 与变量顺序对齐的全局标准差 | `fields.attrs["variables"]` 包含 96 个变量名，`fields.attrs["time_step"]` 为 24。详细 schema 在 `metadata/schema.yaml`。 ## 使用说明 本数据集适配 `OneScience/XiHe`模型。XiHe 运行时可通过模型包脚本把本仓库的 `data/*.h5` 组织到模型运行目录，并从 HDF5 内置统计量提取 `global_means.npy` 与 `global_stds.npy`。 文件与下载： ```bash modelscope download --dataset OneScience/CMEMS --local_dir ./CMEMS modelscope download --model OneScience/XiHe --local_dir ./XiHe cd XiHe python scripts/prepare_runtime_data.py --dataset-root ../CMEMS --runtime-data-dir ./data ``` 数据集根目录应保留 `data/`、`metadata/` 和 `scripts/`。独立验证可执行： ```bash python scripts/validate_dataset.py --dataset-root . ``` 完整 SHA256 校验可加 `--verify-checksums`，会读取约 71 GB 数据。 ## OneScience 官方信息 | 平台 | OneScience 主仓库 | Skills 仓库 | |---|---|---| | Gitee | https://gitee.com/onescience-ai/onescience | https://gitee.com/onescience-ai/oneskills | | GitHub | https://github.com/onescience-ai/OneScience | https://github.com/onescience-ai/oneskills | ## 限制与许可证 当前数据集只包含 1993-1999 年的部分样本，适合标准包联调、预检和指定数据范围训练。数据许可证和使用限制请按原始 CMEMS 数据来源要求执行；本仓库 Manifest 中未声明额外许可证。