ASOS数字实验数据集

ASOS数字实验数据集是由ASOS.com和伦敦帝国学院合作创建的，旨在支持在线控制实验中的自适应停止技术。该数据集包含78个真实实验的数据，每个实验涉及2到5个变体和基于二进制、计数和实值响应的四个决策指标。数据以组级别聚合，提供每日或12小时一次的指标值检查点，从实验开始累积。此数据集不仅支持实验的设计和运行，还允许进行元分析、时间序列分析和跨实验、决策指标和时间的相关结构学习。

The ASOS Digital Experiment Dataset was co-created by ASOS.com and Imperial College London, aiming to support adaptive stopping techniques in online controlled experiments. This dataset contains data from 78 real-world experiments, each involving 2 to 5 variants and four decision metrics based on binary, count, and real-valued responses. The data are aggregated at the group level, providing checkpoints of metric values either daily or every 12 hours, accumulated from the start of each experiment. This dataset not only supports the design and execution of experiments, but also enables meta-analysis, time series analysis, and correlation structure learning across experiments, decision metrics, and time.

搜集汇总

数据集介绍

构建方式

在数字实验领域，ASOS数字实验数据集的构建遵循了严谨的实证研究范式。该数据集源自全球在线时尚零售平台ASOS.com上运行的真实在线控制实验，涵盖了78个独立实验，每个实验包含2至5个变体，并记录了基于二元、计数和实值响应的四个决策指标。数据采集采用累积式时间序列设计，以每日或每12小时为间隔记录实验启动以来的指标聚合值，确保了时间维度上的连续性。这种构建方式严格遵循了自适应停止实验的数据需求框架，通过多实验、实时、时间序列的数据结构，为统计方法的验证与优化提供了可靠基础。

特点

ASOS数字实验数据集的突出特点在于其多维度的实验覆盖与精细的时间粒度。作为首个支持自适应停止实验设计的公开数据集，它融合了多实验、真实性和时间序列三大核心属性。数据集不仅提供了从真实业务场景中提取的决策指标，还通过每日累积检查点捕捉了实验效果的动态演变过程。这种设计使得研究者能够深入探究效应大小分布、时间相关偏差以及跨实验相关性结构等复杂统计问题。数据集的匿名化处理与业务上下文剥离，既保障了商业敏感性，又维护了学术研究的可复现性与泛化潜力。

使用方法

该数据集为在线控制实验的方法学研究提供了多层次的实践场景。研究者可基于其多实验特性进行元分析，探索效应大小的分布规律与p值特征。在自适应停止实验场景中，数据集支持序列概率比检验与贝叶斯假设检验等方法的端到端验证，允许研究者通过累积统计量动态评估实验状态。同时，时间序列结构为检测概念漂移与反馈循环偏差提供了实证基础。作为准基准测试平台，数据集还能用于比较不同统计检验方法在相同实验轨迹下的性能表现，推动实验设计理论的迭代优化。

背景与挑战

背景概述

在线控制实验（OCE）作为衡量数字产品与服务影响、指导决策的黄金标准，已在科技企业中得到广泛应用。然而，该领域长期面临公开数据集稀缺且缺乏系统化梳理的困境，制约了方法论的进一步发展。为此，帝国理工学院与ASOS.com的研究团队于2021年联合发布了ASOS数字实验数据集，旨在填补自适应停止实验设计所需数据的空白。该数据集收录了全球时尚电商平台上多个真实OCE的每日决策指标检查点，其设计基于对实验数据需求与统计测试映射关系的深入探讨，为首个支持端到端自适应停止实验设计与运行的公开资源，显著推动了在线实验统计方法的研究与验证。

当前挑战

ASOS数字实验数据集致力于解决在线控制实验中自适应停止方法的应用挑战，该方法允许实验者根据实时观测结果动态调整实验周期，从而在控制误报率的前提下加速决策流程。然而，该领域长期缺乏能够支持此类方法开发与评估的公开数据集，导致研究多依赖于模拟数据，难以反映真实场景的复杂性。在数据集构建过程中，研究团队需克服多维度数据整合的困难，包括确保时间序列检查点的完整性、维护多实验间的一致性，以及平衡数据匿名化与信息保留之间的张力，同时需在缺乏现成范例的情况下，确立兼顾统计严谨性与实践可用性的数据架构。

常用场景

经典使用场景

在数字实验领域，ASOS数字实验数据集为自适应停止实验的设计与执行提供了经典范例。该数据集收录了全球在线时尚零售平台运行的真实在线对照实验，以每日或每12小时为间隔累积记录决策指标的检查点。这种时间序列结构使得研究者能够模拟实验过程中的动态监测场景，为评估不同统计方法在连续监测条件下的表现奠定了数据基础。

解决学术问题

该数据集有效解决了在线对照实验领域缺乏真实、多实验时间序列数据的学术困境。传统研究常依赖模拟数据，其分布假设可能偏离现实场景，而ASOS数据集通过提供来自实际商业环境的实验记录，支持了自适应停止技术的超参数学习与效果评估。它填补了公共数据集中支持端到端自适应停止实验设计的空白，为统计测试方法的比较与优化提供了实证基础。

衍生相关工作

基于该数据集衍生的经典工作主要集中在序列概率比检验与贝叶斯假设测试的优化领域。研究者利用其多实验特性开发了混合序列概率比测试的超参数估计方法，并构建了贝叶斯框架下的动态决策边界模型。这些工作进一步推动了方差缩减技术、聚类随机化偏差校正等方法的实证研究，形成了数字实验方法论的重要分支。