QMD-Bench

QMD-Bench是一个智能体驱动的跨架构代码迁移Benchmark，专注于评估高性能库（如OpenCV、NCNN、OpenMP、FFmpeg）从ARM NEON到RISC-V RVV架构的迁移，同时测试功能正确性和性能优化能力，提供算子级和应用级测试集。

QMD-Bench is an agent-driven cross-architecture code migration benchmark dedicated to evaluating the migration of high-performance libraries (e.g., OpenCV, NCNN, OpenMP, FFmpeg) from ARM NEON to RISC-V RVV architectures, while verifying both functional correctness and performance optimization capabilities, and providing operator-level and application-level test suites.

原始信息汇总

QMD-Bench 数据集概述

数据集简介

QMD-Bench是一个智能体驱动的跨架构代码迁移Benchmark，专注于将高性能库从ARM NEON架构自动迁移至RISC-V RVV架构。

核心特性

跨架构迁移

• 支持从ARM NEON到RISC-V RVV的代码迁移
• 涵盖硬件架构差异和软件工程复杂度的双重挑战

多层级评估体系

• 算子级：评估单个OpenCV算子的迁移能力
• 应用级：评估完整应用场景的迁移能力
• 库级：评估整个库的完整迁移能力

数据集组成

OpenCV库级自动迁移评测集

• 算子数据：包含21个OpenCV核心算子
• 应用数据：包含14个来自OpenCV官方samples的典型图像处理应用
• 测试层级：算子级、应用级、库级三级评估体系

其他库评测集

• NCNN库级自动迁移评测集：基于端侧性能优化的NCNN推理框架
• OpenMP库级自动并行优化工具：自动化OpenMP代码分析和优化框架
• FFmpeg库级自动迁移评测集：正在接入中

技术挑战

硬件架构差异

• 固定向量长度vs可扩展向量架构
• 指令集语义鸿沟
• 寄存器机制差异

软件工程复杂度

• OpenCV模块化依赖的广度挑战
• 硬件抽象层的复杂性
• 宏定义与模板的深度使用
• 大型开源库结构复杂

评估指标

• 功能正确性测试
• 性能基准测试
• 算子覆盖率测试
• 端到端性能测试

使用方法

bash git clone https://github.com/breezejh/QMD-bench.git pip install -r requirements.txt python run_benchmark.py --target riscv --model gpt-4 --test_level operator

相关资源

• 数据集地址：https://github.com/breezejh/QMD-bench
• NCNN评测集地址：https://github.com/k1366191024/agent-ncnn-benchmark/tree/main

搜集汇总

数据集介绍

构建方式

在计算机视觉与高性能计算领域，QMD-Bench数据集通过系统化方法构建而成。其设计聚焦于跨架构代码迁移的核心挑战，从OpenCV官方源码中筛选出21个实际使用的核心算子作为基础单元，涵盖图像处理、算术运算及滤波等关键操作。数据集采用三级评估体系，包括算子级、应用级和库级测试，每个层级均基于真实工程场景设计，确保迁移任务既具备理论深度又贴近工业实践。构建过程中严格遵循功能正确性与性能优化的双重标准，为智能体能力评估提供可靠基准。

特点

QMD-Bench数据集在代码迁移领域展现出独特价值，其核心特征体现在多维度的评估框架设计。数据集不仅关注代码迁移的功能正确性，更将性能优化作为关键评价指标，填补了现有基准在跨架构迁移与性能优化交叉领域的空白。通过分层测试设计，数据集能够全面评估智能体从基础算子迁移到完整库级迁移的综合能力。特别值得注意的是，数据集针对RISC-V架构的向量化特性，设计了专门的指令重组和循环重构任务，充分体现了硬件架构差异带来的技术挑战。

使用方法

使用QMD-Bench数据集时，研究人员可通过标准化流程进行智能体能力评估。首先克隆项目仓库并安装依赖环境，随后通过命令行接口指定目标架构和测试层级。数据集支持算子级、应用级和库级三个层级的测试，用户可根据需求选择相应测试模式。评估过程自动执行功能正确性验证和性能基准测试，生成详细的通过率报告和性能对比数据。该使用方法既保证了评估过程的可重复性，又为不同研究目标提供了灵活配置空间。

背景与挑战

背景概述

随着RISC-V架构在边缘计算领域的迅速崛起，跨平台代码迁移成为计算机系统研究的关键课题。QMD-Bench由研究团队于2024年推出，聚焦于智能体驱动的跨架构代码迁移评估，填补了现有基准测试在性能优化与架构迁移交叉领域的空白。该基准测试以OpenCV、NCNN等高性能计算库为载体，通过构建算子级、应用级和库级三层评估体系，系统化检验智能体在ARM NEON至RISC-V RVV架构转换中的综合能力，为自动化迁移工具提供了标准化评估平台，对推动RISC-V生态建设具有重要实践价值。

当前挑战

该数据集面临的核心挑战体现在技术架构与工程实践两个维度。在技术层面，需解决固定向量长度与可扩展向量架构的范式转换，包括指令集语义鸿沟、寄存器机制差异等硬件兼容性问题；在工程层面，需应对OpenCV模块化依赖的广度挑战、硬件抽象层复杂性以及宏定义模板的深度解析。同时，智能体还需克服上下文依赖链识别、构建系统配置理解等工程实践难题，避免因代码库规模庞大导致的幻觉风险与迁移偏差。

常用场景

经典使用场景

在计算机视觉与高性能计算领域，QMD-Bench作为首个专注于跨架构代码迁移的基准测试平台，其经典应用场景集中于评估大模型智能体在ARM NEON至RISC-V RVV向量化代码转换中的综合能力。该数据集通过设计算子级、应用级与库级三层测试体系，系统化检验智能体在保持功能等价性的同时实现性能优化的潜力，为自动化迁移工具提供了标准化验证环境。

实际应用

在实际工程层面，QMD-Bench显著降低了RISC-V生态中视觉库移植的成本与门槛。工业界可借助该基准测试验证自动化迁移工具在OpenCV、NCNN等高性能库中的适用性，加速RISC-V芯片在边缘计算设备的部署。其多层级评估体系还能指导编译器优化策略的制定，为跨平台软件生态的成熟提供技术支撑。

衍生相关工作

基于QMD-Bench的范式创新，衍生出多类聚焦特定场景的跨架构迁移研究。例如扩展至NCNN推理框架的迁移基准推动了端侧AI加速的探索，而正在构建的OpenMP并行优化工具则开启了自动并行化研究新方向。这些工作共同构成了智能体驱动代码迁移的技术图谱，持续推动着自动化软件适配方法论的发展。