Omni-MATH 数学推理基准数据集

Omni-MATH 是由北京大学和阿里巴巴创建的一个奥林匹克级别数学推理基准数据集，旨在评估大语言模型 (LLMs) 在奥林匹克级别数学问题上的表现。相关论文成果为「Omni-MATH: A Universal Olympiad Level Mathematic Benchmark For Large Language Models」。

Omni-MATH is an olympiad-level mathematical reasoning benchmark dataset created by Peking University and Alibaba, which aims to evaluate the performance of large language models (LLMs) on olympiad-level mathematical problems. The associated research paper is titled "Omni-MATH: A Universal Olympiad-Level Mathematical Benchmark for Large Language Models".

搜集汇总

背景与挑战

背景概述

Omni-MATH是由北京大学和阿里巴巴联合构建的奥林匹克级别数学推理基准数据集，旨在评估大语言模型在高端数学问题上的性能。该数据集包含4,428个经过严格人工标注的竞赛级问题，覆盖33个子领域和超过10个难度级别，数据来源包括IMO等全球数学竞赛，并通过GPT-4o分类确保多样性和质量。