OLxPBench

OLxPBench是由中国科学院计算技术研究所开发的综合性HTAP基准测试套件，旨在评估和设计HTAP系统。该数据集包含实时查询、语义一致的架构以及特定领域的负载，以模拟广泛观察到的行为模式——在在线事务中进行实时分析以快速决策。OLxPBench通过结合特定领域和通用基准来描述具有不同资源需求的多样化应用场景。该数据集的应用领域包括零售、银行和电信，旨在解决实时数据分析的需求，提供设计HTAP系统的量化指标和方法。

OLxPBench is a comprehensive HTAP benchmark suite developed by the Institute of Computing Technology, Chinese Academy of Sciences, aiming to evaluate and design HTAP systems. This benchmark suite encompasses real-time queries, semantically consistent architectures, and domain-specific workloads to simulate the widely observed behavioral pattern of executing real-time analytics on online transactions for rapid decision-making. OLxPBench characterizes diverse application scenarios with varied resource requirements by integrating domain-specific and general-purpose benchmarks. Its applicable domains cover retail, banking and telecommunications, and it aims to address the demands of real-time data analytics, while providing quantitative metrics and methodologies for HTAP system design.

搜集汇总

数据集介绍

构建方式

在混合事务/分析处理（HTAP）系统评估领域，OLxPBench的构建方法体现了严谨的工程与理论结合。该数据集通过抽象化混合事务模型，将实时查询嵌入在线事务流程中，以模拟用户在实际场景中依据实时分析做出快速决策的行为模式。其架构采用语义一致的数据库模式，确保在线事务处理（OLTP）与在线分析处理（OLAP）模式间的逻辑关联性，避免了传统拼接模式导致的数据语义割裂。此外，OLxPBench整合了通用基准与特定领域基准，覆盖零售、金融及电信等多种应用场景，通过可扩展的Java框架实现，支持基于JDBC的分布式HTAP数据库评估，并允许用户通过XML配置文件灵活调整工作负载参数与请求速率。

特点

OLxPBench的显著特点在于其多维度的设计考量与高度仿真性。首先，它引入了混合事务概念，将实时查询作为在线事务的组成部分，精准捕捉了现实世界中决策依赖即时数据分析的普遍行为。其次，数据集采用语义一致的模式设计，使OLAP模式成为OLTP模式的子集，真实反映了业务数据生成与分析间的内在关联，从而暴露出事务负载与分析负载间固有的资源竞争与性能干扰。再者，OLxPBench兼具通用性与领域特异性，既包含适用于广泛性能对比的通用基准，也提供了针对金融与电信等具体场景的领域基准，能够全面评估HTAP系统在不同资源需求与应用复杂度下的表现。

使用方法

使用OLxPBench进行评估时，需遵循其模块化与可配置的设计原则。用户首先通过XML配置文件定义工作负载类型、事务权重、请求速率及目标数据库连接参数。数据集支持三种工作负载生成模式：顺序发送事务或查询、并发执行事务与分析负载、以及发送模拟用户行为的混合事务。评估过程通常包含预热阶段与正式运行阶段，通过开环或闭环模式控制请求发送。OLxPBench客户端会收集并统计吞吐量、平均延迟及尾部延迟等多维度性能指标，并以文件形式输出详细结果。该框架便于扩展新的数据库后端与基准测试，适用于主流分布式HTAP系统（如TiDB、MemSQL）的性能对比与瓶颈定位。

背景与挑战

背景概述

随着实时分析新鲜数据的需求日益迫切，混合事务/分析处理系统逐渐成为支持实时查询的关键基础设施。在此背景下，中国科学院计算技术研究所的研究团队于2022年提出了OLxPBench基准测试套件，旨在解决现有HTAP基准测试在实时性、语义一致性及领域特定性方面的不足。该数据集通过引入混合事务抽象、语义一致模式及多样化工作负载，为HTAP系统的性能评估与优化提供了科学依据，对数据库领域的基准测试方法论产生了深远影响。

当前挑战

OLxPBench致力于解决HTAP系统在实时查询与混合工作负载下的性能评估挑战，其核心在于模拟真实场景中用户决策与实时分析交织的复杂行为。构建过程中的挑战包括：设计语义一致模式以准确反映OLTP与OLAP数据间的内在关联，避免传统缝合模式导致的性能干扰掩盖；集成领域特定基准以覆盖零售、金融、电信等多样化应用场景，确保测试的全面性与代表性；以及实现混合事务中实时查询的精准建模，以揭示主流分布式HTAP系统在资源竞争与性能隔离方面的潜在瓶颈。

常用场景

经典使用场景

在混合事务/分析处理（HTAP）系统领域，OLxPBench作为一套综合性基准测试套件，其经典使用场景在于评估分布式HTAP数据库管理系统在真实业务环境下的性能表现。该数据集通过模拟零售、金融和电信等领域的特定工作负载，构建了包含实时查询的混合事务模型，能够精准刻画用户在决策过程中咨询实时分析数据的广泛行为模式。研究人员利用OLxPBench对TiDB、MemSQL等主流HTAP系统进行基准测试，以揭示系统在并发处理在线事务与分析查询时的性能瓶颈与资源竞争情况。

衍生相关工作

OLxPBench的推出催生了多项HTAP系统研究领域的经典工作。基于其语义一致模式的设计理念，后续研究如《Serializable isolation for snapshot databases》进一步探讨了HTAP环境下的数据一致性保障机制。该基准揭示的实时查询性能瓶颈，启发了《BatchDB: Efficient isolated execution of hybrid OLTP+OLAP workloads》等研究对混合工作负载隔离技术的优化。此外，OLxPBench的域特定基准框架为《Adaptive HTAP through elastic resource scheduling》等弹性资源调度研究提供了评估基础，推动了HTAP系统自适应架构的发展。

数据集最近研究

最新研究方向

在混合事务/分析处理（HTAP）系统领域，OLxPBench数据集作为一项前沿基准测试套件，正推动着对实时查询、语义一致性架构及领域特定工作负载的深入研究。随着企业对实时数据分析需求的日益增长，HTAP系统需在单一平台上同时支持在线事务处理与复杂分析查询，而传统基准测试常忽视这些关键因素，导致评估结果存在偏差。OLxPBench通过引入混合事务抽象，模拟用户在实际场景中咨询实时分析后快速决策的行为模式，揭示了主流分布式HTAP数据库在性能隔离与资源竞争方面的瓶颈。该数据集结合通用与领域特定基准，覆盖零售、金融和电信等多个应用场景，为系统设计与优化提供了更贴近实际的评估工具，促进了HTAP技术在实时业务智能与数据驱动决策中的广泛应用。

相关研究论文

• OLxPBench: Real-time, Semantically Consistent, and Domain-specific are Essential in Benchmarking, Designing, and Implementing HTAP Systems

  中国科学院计算技术研究所 · 2022年