keirp/hungarian_national_hs_finals_exam

该数据集用于评估大型语言模型在2023年匈牙利国家高中数学期末考试中的表现，以避免模型对标准数据集（如MATH和GSM8k）的过拟合。所有模型解决方案均由作者手动评分，并提供了不同模型在该考试中的表现结果。

This dataset is designed to evaluate the performance of large language models (LLMs) on the 2023 Hungarian National High School Mathematics Final Examination, aiming to prevent the models from overfitting to standard benchmark datasets such as MATH and GSM8k. All model-generated solutions were manually graded by the authors, and the performance outcomes of different models on this examination are provided.

原始信息汇总

数据集概述

评估背景

• 数据集用于评估xAI最新发布的Grok-1模型在2023年匈牙利全国高中数学决赛中的表现。
• 该评估是在所有模型训练数据截止后进行的，确保了评估的独立性。

评估目的

• 旨在通过一个独立的测试集来更准确地衡量大型语言模型在数学能力上的表现。
• 避免现代模型对标准基准（如MATH和GSM8k）的过拟合问题，这些问题可能源于直接在测试集上训练或调整模型参数以优化测试集表现。