AceMath-RewardBench

AceMath RewardBench 提供了一个用于评估数学奖励模型能力的基准数据集。它包含来自七个知名数学基准的近9000个数学问题，每个问题都配有64个由八种不同大型语言模型生成的解决方案尝试。数据集的标注信息包括每个解决方案的真实分数（指示其正确性）、问题文本、完整的模型响应、标准答案、从响应中提取的预测结果以及问题难度和主题区域等元数据。这些问题和解决方案尝试通过整合现有数学数据集并利用多种大型语言模型生成，旨在测试奖励模型的评估多样性和鲁棒性。该数据集主要适用于数学奖励模型的评估和问答任务，并遵循知识共享署名-非商业性4.0国际许可协议（CC-BY-NC-4.0）。