遇见数据集

CAPSTONE-CAE

收藏
Hugging Face2026-09-02 更新2026-09-03 收录
官方服务:

资源简介:

本数据集为台湾大学CAE Capstone课程使用的台湾气候数据集,原始数据来自台湾气候变迁推估信息与调适知识平台(TCCIP)。数据集将原始逐年CSV文件转换为Zarr格式,并通过STAC目录进行描述,支持远程访问而不需下载全部数据。数据集包含三个主要部分:1)网格化观测日数据(Gridded_Historical_Daily_Data):地面测站内插的0.01°分辨率日数据,覆盖1960-2024年,变量包括降水(pr)、平均温(tas_mean)、最低温(tas_min)、最高温(tas_max),总大小8.3 GB;2)AR6统计降尺度日数据(AR6_SD_Daily):0.05°分辨率,1960-2100年,相同四个变量,每个情境约0.95 GB,包含SSP126、SSP245、SSP370、SSP585四个共享社会经济路径,模式为TaiESM1;3)AR6气候变迁关键指标(AR6_Climate_Change_Key_Indices):年值数据,包含22个ETCCDI定义的极端气候指标(如txx、tnn、rx1day、prcptot、cdd、sdii等),每个情境约9 MB。坐标系统为EPSG:4326,网格中心点坐标,缺值以NaN表示(原始CSV中-99.9)。适用任务包括气候数据分析、偏差校正、降尺度研究、极端气候指标计算等。使用时需注意:坐标轴非等距(含离岛导致跳格),建议取最近点后验证实际坐标;AR6日数据无闰日(141年×365天),观测数据含闰日,时间对齐时需处理闰日偏移。

This dataset is a Taiwan climate dataset used in the CAE Capstone course at National Taiwan University, with original data from the Taiwan Climate Change Projection Information and Adaptation Knowledge Platform (TCCIP). The dataset converts original yearly CSV files into Zarr format and describes them via a STAC catalog, enabling remote access without downloading all data. It consists of three main parts: 1) Gridded Historical Daily Data: 0.01° resolution daily data interpolated from ground stations, covering 1960-2024, with variables including precipitation (pr), mean temperature (tas_mean), minimum temperature (tas_min), and maximum temperature (tas_max), total size 8.3 GB; 2) AR6 Statistical Downscaling Daily Data (AR6_SD_Daily): 0.05° resolution, 1960-2100, same four variables, each scenario approximately 0.95 GB, including four Shared Socioeconomic Pathways (SSP126, SSP245, SSP370, SSP585) with model TaiESM1; 3) AR6 Climate Change Key Indices: annual data, containing 22 ETCCDI-defined extreme climate indices (e.g., txx, tnn, rx1day, prcptot, cdd, sdii), each scenario about 9 MB. The coordinate system is EPSG:4326 with grid center coordinates; missing values are represented as NaN (originally -99.9 in CSV). Applicable tasks include climate data analysis, bias correction, downscaling research, and extreme climate index calculation. Usage notes: the coordinate axes are non-equidistant (due to offshore islands causing jumps), it is recommended to take the nearest point and verify actual coordinates; AR6 daily data has no leap days (141 years × 365 days), while observational data includes leap days, so time alignment requires handling leap day offsets.

创建时间:
2026-08-27
原始信息汇总

数据集概述

本数据集为CAE Capstone 气候数据集,由台湾大学CAE Capstone课程整理,主要面向台湾地区的气候研究。原始数据来自TCCIP(台湾气候变化推估信息与调适知识平台,NCDR),经格式转换后以 Zarr 格式存储,并使用 STAC 目录进行描述,便于用户在不下载完整数据的前提下进行数据检索与读取。

  • 许可协议:其他(TCCIP使用条款),须遵循 TCCIP规范
  • 语言:中文
  • 标签:climate、taiwan、tccip、stac、zarr、cmip6

数据内容

数据集/项目 内容 网格 时间范围 变量 大小
TCCIP_Gridded_Historical_Daily_DataGridded_Historical_Daily_Data 网格化观测日资料V2(地面测站插值) 0.01°,345 × 243 1960-01-01 至 2024-12-31(23,742天) pr, tas_mean, tas_min, tas_max 8.3 GB
TCCIP_AR6_DataAR6_SD_Daily AR6 统计降尺度日资料 0.05°,72 × 53 1960-01-01 至 2100-12-31(51,465天) pr, tas_mean, tas_min, tas_max 每情境约 0.95 GB
TCCIP_AR6_DataAR6_Climate_Change_Key_Indices AR6 气候变化关键指标(年值) 0.05°,72 × 53 1960 至 2100(141年) 22个ETCCDI式指标(txx, tnn, rx1day, prcptot, cdd, sdii等) 每情境约 9 MB
  • 两个AR6项目各有4个情境资产:ssp126 / ssp245 / ssp370 / ssp585,目前模式仅有 TaiESM1
  • 坐标系统一为 EPSG:4326,lat/lon 为网格中心点。
  • 缺值以 NaN 表示(原始CSV中的 -99.9 已转换)。
  • 单位:降雨 mm/day,温度 degC

使用方式

直接远程读取

使用 xarray 可直接通过 xr.open_zarr() 打开远程Zarr数据,需安装 xarrayzarr>=3fsspecaiohttpdask。可参考数据集中提供的Python示例代码进行数据提取与分析。

通过STAC目录检索

数据集提供静态、自包含的STAC目录(入口为 stac_catalog/catalog.json),可使用 pystac 读取目录,通过遍历集合与项目来查看数据的空间范围、变量列表、维度、形状、单位及chunk切分方式,并获取对应资产的下载链接(href),再传给 xr.open_zarr() 使用。


存储与性能建议

  • Zarr的chunk切分方式为“一年 × 整张网格”(观测资料为 365 × 345 × 243 float32,解压后约122 MB/chunk)。
  • 空间切片查询快(如某一天或某一年全台分布,只涉及1个chunk)。
  • 单点长时间序列查询慢(如单格1960–2024逐日雨量,会拉取65个chunk)。
  • 建议先通过 snapshot_download 将所需store下载至本地再进行分析,或先通过 .sel(time=...) 切片后 .compute(),避免无效网络传输。
  • AR6各情境数据小于1 GB,远程读取通常足够。

注意事项

  1. 坐标轴非等距:因包含离岛,lat/lon 轴上存在跳格(如观测lat从25.49直接跳至25.62),STAC metadata中 stepnull。使用 .sel(..., method="nearest") 时应检查实际匹配到的格点是否足够接近目标位置。
  2. 闰日差异:AR6降尺度日数据完全不含2/29(141年×365天 = 51,465步);网格化观测数据(1960–2024)包含17个2/29。进行观测与推估数据对比(如偏差校正、delta change)前,需先决定闰日处理方式。

数据来源与引用

  • 数据来源:台湾气候变化推估信息与调适知识平台(TCCIP),https://tccip.ncdr.nat.gov.tw
  • 数据仅将原始CSV转为Zarr格式并添加STAC描述,未修改数值(仅将 -99.9 缺值转为 NaN)。
  • 使用时应遵循TCCIP规范标注来源;正式定义、产制方法及已知限制以 asset/docs/ 下的官方PDF为准。

目录结构

asset/ ├── Gridded_Historical_Daily_Data/ │ └── Gridded_Historical_Daily_Data.zarr ├── AR6_SD_Daily/ │ └── AR6_SD_Daily_{ssp126,ssp245,ssp370,ssp585}TaiESM1.zarr ├── AR6_Climate_Change_Key_Indices/ │ └── AR6_Climate_Change_Key_Indices{ssp126,ssp245,ssp370,ssp585}_TaiESM1.zarr └── docs/ # TCCIP 官方 PDF stac_catalog/ ├── catalog.json # STAC目录入口 ├── TCCIP_AR6_Data/collection.json └── TCCIP_Gridded_Historical_Daily_Data/collection.json

搜集汇总
数据集介绍
CAPSTONE-CAE 数据集图片
构建方式
此数据集源于台湾气候变迁推估信息与调适知识平台(TCCIP)所提供之气象数据,经台湾大学土木系水文与遥测实验室进行系统性的整理与格式转换。原始数据以逐年CSV形式呈现,为便于高效存取与分析,已将观测与模拟资料重制为Zarr格式,并以STAC(SpatioTemporal Asset Catalog)目录加以描述,让使用者无须下载全部数据即可查询其内容、空间范围及变量单位。数据集涵盖网格化观测日值资料(1960-2024,分辨率0.01°)与AR6统计降尺度日值及气候变迁关键指标(1960-2100,分辨率0.05°),包含SSP126至SSP585四种情境,模式采用TaiESM1。所有数据均统一至EPSG:4326坐标系,并妥善处理缺值(-99.9转为NaN),确保数据质量与一致性。
特点
该数据集的核心优势在于其先进的数据存储与索引结构。采用Zarr格式存储,并设计以'一年×整张网格'为单位的chunk切分,使得时间维度上的空间切片读取(如某日全台分布)极为迅速,仅需撷取单一chunk,大幅降低网络传输负担。此外,STAC目录不仅提供静态JSON供程序化访问,更整合datacube扩展,详尽描述每个变量的维度、形状、单位及chunk配置,使用者可通过标准API查询数据特性,免去预先下载的繁复程序。数据集亦包含两种不同的时间解析度:观测资料拥有闰日,而AR6推估资料则无,此特色对进行偏差校正或趋势分析时的时间对齐处理提出了重要考量。
使用方法
使用者可通过xarray直接读取远程Zarr文件,无需下载全部数据,例如使用xr.open_zarr(url)即可加载观测或各情境的模拟数据,并进行选取特定网格点或时间范围的分析。由于AR6数据每情境小于1GB,远程读取相当高效。对于单点长序列的撷取,建议先以.sel()切割时间范围再compute,以减少chunk读取量。若需进行大规模数据处理,可借助huggingface_hub的snapshot_download功能,选择性下载所需数据(如仅下载观测数据或特定变量),并于本地端开启Zarr,以提升运算效能。同时,可通过pystac库浏览STAC目录,获取各collection与item的资源连结,进而将资源直接馈送至xarray读取,实现数据探索与撷取的完整工作流。
背景与挑战
背景概述
CAPSTONE-CAE氣候資料集由臺灣大學氣候-水文-氣象實驗室(NTU-CompHydroMet-Lab)於2025年創建,旨在為CAE Capstone課程提供便捷的臺灣氣候變遷研究數據。該資料集整合了TCCIP(臺灣氣候變遷推估資訊與調適知識平台,隸屬NCDR)的網格化觀測日資料V2與AR6統計降尺度資料,涵蓋1960至2100年間的降水與溫度變數,並提供22個ETCCDI氣候指標。資料集採用Zarr格式與STAC目錄標準化描述,大幅降低數據獲取門檻,促進氣候科學教育與研究。作為首批以STAC標準組織的區域氣候資料集之一,其對臺灣氣候變遷研究、災害風險評估及調適策略制定具有重要支撐作用,並為資料科學與氣候科學的跨域整合樹立範例。
当前挑战
該資料集所應對的核心領域挑戰在於臺灣複雜地形下的高解析度氣候變遷資訊需求。觀測資料與模式推估間的時空不一致性(如閏日處理差異)構成了資料整合的主要技術障礙;同時,TCCIP原始CSV檔案總量達數十GB,資料傳輸與儲存效率成為建置過程的重大考驗。為此,研究團隊將資料轉換為Zarr格式並精心設計分塊(chunk)策略,以平衡空間與時間維度的讀取效能,但單點長時間序列的遠端存取仍存在效率瓶頸。此外,由於臺灣涵蓋離島,網格座標軸非均勻分佈,使用最近鄰點選取時需謹慎驗證,以免誤取遙遠格點。這些挑戰要求使用者具備一定資料處理技術,方能充分發揮該資料集的科研價值。
常用场景
经典使用场景
CAPSTONE-CAE数据集作为台湾地区高分辨率气候数据的整合体,其经典使用场景集中于气候科学研究与教学实践中。研究者可借助其网格化观测日数据与AR6统计降尺度日数据,开展历史气候态分析、极端事件检测及未来气候情景模拟等研究。凭借0.01°与0.05°的精细空间分辨率,该数据集支持对台湾复杂地形下局地气候特征的细致刻画,为气候动力学、水文学及生态学等领域的交叉研究提供了坚实的数据底座。此外,其Zarr格式与STAC目录的标准化组织,使得数据的高效检索与流式读取成为可能,大幅降低了数据获取与预处理的门槛,尤其适用于需要快速迭代的大规模集成分析。
衍生相关工作
基于CAPSTONE-CAE数据集,已衍生出一系列深化研究与工具开发工作。数据集提供的长时序、多变量数据直接支撑了台湾区域气候降尺度技术的验证与改进,例如对比统计降尺度与动力降尺度方法的优劣。其网格化观测数据成为校准和验证区域气候模型模拟性能的基准数据集,促进了模式不确定性量化研究。此外,研究者利用其ETCCDI指标数据,开展了台湾极端气候事件的检测归因分析,量化了人为气候变化对特定极端事件发生概率的贡献。围绕该数据集,社区还开发了便捷的数据访问与分析工具库,如基于Zarr的快速切片和地图可视化模块,进一步拓展了其在跨学科研究中的可用性和影响力,形成了一个活跃的气候数据应用生态。
数据集最近研究
最新研究方向
面对全球气候变迁加剧与极端天气事件频发的严峻挑战,CAPSTONE-CAE数据集的问世为台湾区域气候研究提供了高分辨率、长时间序列的宝贵数据资源。该数据集整合了TCCIP平台下的网格化观测资料与AR6统计降尺度推估,涵盖SSP1-2.6至SSP5-8.5多种共享社会经济路径情景,为剖析不同温室气体浓度路径下台湾气候的演变趋势奠定了坚实基础。其前沿研究方向聚焦于运用先进的Zarr格式与STAC目录技术,实现海量气候数据的高效存储、云端即时存取与元数据精细化管理,从而支持科研人员便捷地进行气候极值指标(如ETCCDI)的时空分析、区域气候模式评估以及极端降雨与高温事件的归因研究。此数据集不仅极大促进了台湾本地尺度气候变迁风险评估与调适策略的制定,也为全球亚热带岛屿区域的气候模拟与资料整合提供了可借鉴的示范案例,对于深化理解区域水循环对气候变迁的响应、提升防灾减灾能力具有重要的科学意义与应用价值。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务