OpenMHC-leaderboard-data
收藏资源简介：
OpenMHC Leaderboard Data是一个专为OpenMHC（MyHeartCounts）基准测试排行榜设计的数据集，用于支持可穿戴健康领域的基准评估。该数据集包含每个用户在特定任务上的误差指标（称为“基底”数据），这些指标用于计算排行榜中的技能得分、跨方法排名以及公平性技能得分。数据集不包含原始传感器数据或模型预测，而是以匿名用户ID为键的简化指标。数据按轨道（目前包括“插补”和“预测”两个活跃轨道，未来计划添加“下游”轨道）和方法进行组织，存储为Parquet文件。每个文件对应一个方法在一个轨道上针对每个用户的误差数据，评估基于标准的测试分割。在数据模式上，轨道2（插补）存储每个用户的误差值（如MAE或1-AUC），而轨道3（预测）存储每个用户的原始指标值，以便在加载时转换为技能得分、排名和公平性得分。数据集设计强调每个用户级别的数据（而非聚合数据），因为技能得分基于每个用户与基线方法的配对几何平均值计算，排名也需要跨所有方法的每个用户值。数据集由OpenMHC评估工具生成，基线方法包括locf（用于插补轨道）和seasonal_naive（用于预测轨道）。适用于可穿戴健康数据分析、时间序列插补与预测任务的基准测试和算法评估。
OpenMHC Leaderboard Data is a dataset that powers a wearable health benchmark leaderboard, specifically developed for the OpenMHC (MyHeartCounts) benchmark. This dataset contains per-user error metrics on specific tasks (i.e., "baseline" data), which are used to compute skill scores, cross-method rankings, and fairness skill scores on the leaderboard. The dataset does not include raw sensor data or model predictions, but instead consists of simplified metrics with anonymous user IDs as keys. The data is organized by tracks (currently two active tracks: "Imputation" and "Prediction", with a "Downstream" track to be added in the future) and methods, and stored as Parquet files. Each file corresponds to the per-user error data of one method on a single track, with evaluations based on standard test splits. Regarding the schema, Track 2 (Imputation) stores per-user error metrics such as MAE or 1-AUC, while Track 3 (Prediction) stores per-user raw metric values to allow conversion into skill, ranking, and fairness scores during loading. The dataset is designed to prioritize per-user-level data rather than aggregated data, since skill scores are calculated using the paired geometric mean of each user's performance against the baseline method, and rankings require per-user values across all methods. The dataset is generated by the OpenMHC evaluation tool, with baseline methods including locf (for the Imputation track) and seasonal_naive (for the Prediction track). It is applicable to benchmarking and algorithm evaluation tasks in wearable health data analysis, time series imputation and prediction.
数据集概述：OpenMHC Leaderboard Data
数据集名称：OpenMHC Leaderboard Data
许可协议：OpenRail
标签：穿戴设备、基准测试、MyHeartCounts、时间序列
核心内容
该数据集存储了 OpenMHC 可穿戴健康基准排行榜背后每个用户的误差（per-user error）。每个文件对应一种方法在某个赛道（track）上减少后的每个用户、每个任务的误差值。排行榜重新计算过程会使用这些数据生成技能分数（skill scores）、跨方法的排名（ranks）和公平性技能分数（fairness skill scores）。
重要说明：该仓库存储的是按假名化参与者ID索引的简化指标（reduced metrics），不包含原始传感器数据和模型预测结果。
目录结构
<track>/<method>.parquet （例如：imputation/locf.parquet, forecasting/seasonal_naive.parquet） <track>/bootstrap/draws.parquet （用于置信区间的每重采样bootstrap参考数据）
现有赛道：imputation（插补）和 forecasting（预测）已上线；downstream（下游任务）后续添加。
数据模式（Schema）
每个赛道的完整列规范请参见 SCHEMA.md 文件。简要说明如下：每行对应一个任务单元格的每个用户值，评估基于标准测试集 sharable_users_seed42_2026。
- Track 2（插补赛道）：存储每用户误差
E_per_user（MAE 或1 − AUC）。 - Track 3（预测赛道）：存储原始每用户
metric_value（一个文件同时服务于技能分数、排名和公平性计算，每种缩减器在加载时进行转换/使用）。
为何使用每用户（而非聚合）数据
技能分数是基于配对的每用户几何平均值（相对于赛道基线：插补赛道基线为 locf，预测赛道基线为 seasonal_naive），排名则是所有方法在 user_id 上配对的每用户排名。因此，两种计算都需要每个方法的每用户值，而非每个任务的聚合值。
使用示例（Python）
python import glob, os import pandas as pd from huggingface_hub import snapshot_download
root = snapshot_download("MyHeartCounts/OpenMHC-leaderboard-data", repo_type="dataset")
每次处理一个赛道（各赛道模式不同）
frames = [pd.read_parquet(p) for p in glob.glob(os.path.join(root, "forecasting", "*.parquet"))] df = pd.concat(frames, ignore_index=True)
方法文件通过 tools/upload_leaderboard_substrate.py 上传，每赛道bootstrap参考文件通过 tools/upload_leaderboard_bootstrap.py 上传，这两个工具均在 代码仓库 中。
数据来源
由 OpenMHC 评估框架生成。基线方法：Track 2 使用 locf，Track 3 使用 seasonal_naive。
