OpenMHC-leaderboard-data

OpenMHC Leaderboard Data是一个专为OpenMHC（MyHeartCounts）基准测试排行榜设计的数据集，用于支持可穿戴健康领域的基准评估。该数据集包含每个用户在特定任务上的误差指标（称为“基底”数据），这些指标用于计算排行榜中的技能得分、跨方法排名以及公平性技能得分。数据集不包含原始传感器数据或模型预测，而是以匿名用户ID为键的简化指标。数据按轨道（目前包括“插补”和“预测”两个活跃轨道，未来计划添加“下游”轨道）和方法进行组织，存储为Parquet文件。每个文件对应一个方法在一个轨道上针对每个用户的误差数据，评估基于标准的测试分割。在数据模式上，轨道2（插补）存储每个用户的误差值（如MAE或1-AUC），而轨道3（预测）存储每个用户的原始指标值，以便在加载时转换为技能得分、排名和公平性得分。数据集设计强调每个用户级别的数据（而非聚合数据），因为技能得分基于每个用户与基线方法的配对几何平均值计算，排名也需要跨所有方法的每个用户值。数据集由OpenMHC评估工具生成，基线方法包括locf（用于插补轨道）和seasonal_naive（用于预测轨道）。适用于可穿戴健康数据分析、时间序列插补与预测任务的基准测试和算法评估。

OpenMHC Leaderboard Data is a dataset that powers a wearable health benchmark leaderboard, specifically developed for the OpenMHC (MyHeartCounts) benchmark. This dataset contains per-user error metrics on specific tasks (i.e., "baseline" data), which are used to compute skill scores, cross-method rankings, and fairness skill scores on the leaderboard. The dataset does not include raw sensor data or model predictions, but instead consists of simplified metrics with anonymous user IDs as keys. The data is organized by tracks (currently two active tracks: "Imputation" and "Prediction", with a "Downstream" track to be added in the future) and methods, and stored as Parquet files. Each file corresponds to the per-user error data of one method on a single track, with evaluations based on standard test splits. Regarding the schema, Track 2 (Imputation) stores per-user error metrics such as MAE or 1-AUC, while Track 3 (Prediction) stores per-user raw metric values to allow conversion into skill, ranking, and fairness scores during loading. The dataset is designed to prioritize per-user-level data rather than aggregated data, since skill scores are calculated using the paired geometric mean of each user's performance against the baseline method, and rankings require per-user values across all methods. The dataset is generated by the OpenMHC evaluation tool, with baseline methods including locf (for the Imputation track) and seasonal_naive (for the Prediction track). It is applicable to benchmarking and algorithm evaluation tasks in wearable health data analysis, time series imputation and prediction.

原始信息汇总

数据集概述：OpenMHC Leaderboard Data

数据集名称：OpenMHC Leaderboard Data
许可协议：OpenRail
标签：穿戴设备、基准测试、MyHeartCounts、时间序列

核心内容

该数据集存储了 OpenMHC 可穿戴健康基准排行榜背后每个用户的误差（per-user error）。每个文件对应一种方法在某个赛道（track）上减少后的每个用户、每个任务的误差值。排行榜重新计算过程会使用这些数据生成技能分数（skill scores）、跨方法的排名（ranks）和公平性技能分数（fairness skill scores）。

重要说明：该仓库存储的是按假名化参与者ID索引的简化指标（reduced metrics），不包含原始传感器数据和模型预测结果。

目录结构

<track>/<method>.parquet （例如：imputation/locf.parquet, forecasting/seasonal_naive.parquet） <track>/bootstrap/draws.parquet （用于置信区间的每重采样bootstrap参考数据）

现有赛道：imputation（插补）和 forecasting（预测）已上线；downstream（下游任务）后续添加。

数据模式（Schema）

每个赛道的完整列规范请参见 SCHEMA.md 文件。简要说明如下：每行对应一个任务单元格的每个用户值，评估基于标准测试集 sharable_users_seed42_2026。

• Track 2（插补赛道）：存储每用户误差 E_per_user（MAE 或 1 − AUC）。
• Track 3（预测赛道）：存储原始每用户 metric_value（一个文件同时服务于技能分数、排名和公平性计算，每种缩减器在加载时进行转换/使用）。

为何使用每用户（而非聚合）数据

技能分数是基于配对的每用户几何平均值（相对于赛道基线：插补赛道基线为 locf，预测赛道基线为 seasonal_naive），排名则是所有方法在 user_id 上配对的每用户排名。因此，两种计算都需要每个方法的每用户值，而非每个任务的聚合值。

使用示例（Python）

python import glob, os import pandas as pd from huggingface_hub import snapshot_download

root = snapshot_download("MyHeartCounts/OpenMHC-leaderboard-data", repo_type="dataset")

每次处理一个赛道（各赛道模式不同）

frames = [pd.read_parquet(p) for p in glob.glob(os.path.join(root, "forecasting", "*.parquet"))] df = pd.concat(frames, ignore_index=True)

方法文件通过 tools/upload_leaderboard_substrate.py 上传，每赛道bootstrap参考文件通过 tools/upload_leaderboard_bootstrap.py 上传，这两个工具均在 代码仓库 中。

数据来源

由 OpenMHC 评估框架生成。基线方法：Track 2 使用 locf，Track 3 使用 seasonal_naive。

搜集汇总

数据集介绍

构建方式

OpenMHC-leaderboard-data 数据集源于 MyHeartCounts 可穿戴健康基准评测项目，其构建方式聚焦于提供细粒度的逐用户误差底表，而非原始传感器数据或模型预测结果。每个文件对应某一方法在特定赛道下的逐用户、逐任务误差指标，经过评测管线缩减后生成。数据集的存储采用 Parquet 格式，按赛道（imputation 与 forecasting）及方法名称组织文件结构，同时包含用于置信区间评估的 bootstrap 参考数据。该设计旨在支持后续的配对技能分数、跨方法排名及公平性技能分数的动态计算。

使用方法

使用该数据集时，用户可通过 Hugging Face Hub 的 snapshot_download 函数递归下载整个仓库，随后利用 Pandas 的 read_parquet 方法读取指定赛道下的所有 Parquet 文件并拼接为数据框进行分析。由于不同赛道的模式定义存在细微差异，建议按赛道分别处理数据。数据集的生成与上传依赖于配套的工具脚本（upload_leaderboard_substrate.py 和 upload_leaderboard_bootstrap.py），用户可参考官方代码仓库获取详细的使用指引及验证流程。

背景与挑战

背景概述

OpenMHC-leaderboard-data数据集由斯坦福大学Ashley实验室主导创建，依托MyHeartCounts项目于近年发布，旨在为可穿戴健康设备的时间序列数据提供标准化评测基准。该数据集聚焦于心率和运动等生理指标的缺失值插补与预测任务，通过公开匿名化的每用户误差指标，推动多方法间的比较与复现。作为OpenMHC基准排行榜的底层数据支持，它通过技能分数、跨方法排名和公平性评估等指标，为可穿戴健康领域的模型性能量化树立了标杆，尤其强调用户级配对分析的重要性，显著提升了该领域评估的科学性与可解释性。

当前挑战

该数据集所解决的领域问题核心在于可穿戴健康时间序列数据的非独立同分布特性与个体差异带来的评估挑战，传统聚合指标难以捕捉跨用户的鲁棒性差异。构建过程中，首要挑战在于隐私保护与数据可用性的平衡——仅保留匿名用户ID和精简误差指标，而非原始传感器数据或模型预测；其次是多任务（插补与预测）评价体系的统一设计，需要针对不同任务定义兼容的误差度量，并建立自举法置信区间和标准化测试划分，确保排行榜的公平性与可复现性。

常用场景

经典使用场景

该数据集作为斯坦福大学MyHeartCounts可穿戴健康基准测试OpenMHC的核心组成部分，专为时间序列传感器数据的插补与预测任务而设计。其经典使用场景在于，研究者可基于该数据集中按假名化用户标识符排列的逐用户误差文件，计算任意方法相对于基准线（如Last Observation Carried Forward或Seasonal Naive）的配对逐用户技能得分，并进一步衍生出跨方法排名与公平性技能得分。这一设计范式使得OpenMHC-leaderboard-data成为评估可穿戴健康时间序列处理算法性能的标准化平台，尤其适用于验证插补和预测方法在真实世界生理信号上的准确性与鲁棒性。

解决学术问题

该数据集解决了可穿戴健康研究领域长期存在的标准化评估缺失难题。通过提供逐用户、逐任务的精简误差指标而非原始传感器数据或模型预测，它实现了对多种方法的公平比较，避免了因数据隐私限制或评估协议差异导致的不可复现性。学术研究中，它使得研究者能够系统性地回答以下核心问题：不同插补方法（如均值插补、矩阵补全）在心率或步数缺失片段上的补齐精度如何？时间序列预测模型（如循环神经网络、Transformer）能否超越简单季节性基准？同时，基于逐用户配对的技能分数计算范式，揭示了方法性能在人群中的异质性分布，为设计更具公平性的可穿戴健康算法奠定了方法论基础。

实际应用

在现实应用中，该数据集支撑着可穿戴健康设备后端的算法选型与质量监控。设备制造商和健康平台可依据OpenMHC基准排行榜上的排名与公平性指标，筛选最适合其用户群体特性的插补与预测算法，例如在低功耗场景下优先选用计算开销小的基准方法，或在医疗级应用中采用技能得分更高的复杂模型。此外，临床研究团队可借助逐用户误差数据识别特定亚群（如老年用户、慢性病患者）的信号缺失模式，并据此定制个性化的数据清洗管道，从而提升步态分析、心率变异性监测等下游任务的可靠性。该数据集还促进了算法从实验室到真实世界部署的迁移，因其验证标准直接源于大规模人群的穿戴数据，确保了方法的泛化能力。

数据集最近研究

最新研究方向

在可穿戴健康数据研究的前沿，OpenMHC-leaderboard-data数据集正引领着对个体化时间序列预测与缺失值插补的精细化评估浪潮。该数据集摒弃传统聚合指标，通过存储每位用户在各任务上的原始误差，为计算配对技能得分与跨方法排名提供了坚实基础，从而推动算法在真实异质性人群中的公平性与鲁棒性比较。当前热点聚焦于利用该基准揭示不同插补与预测方法在用户层面的性能差异，并据此优化模型在健康监测场景中的部署策略，其意义在于促进可穿戴设备数据分析从宏观统计向微观个体化评估的范式转变。