KaraKaraWitch/NextGenBench

这是一个多任务测试数据集，包含来自多个知识领域的问题（部分为多选题）。具体包括以下主题：抽象代数、解剖学、天文学、商业伦理、临床知识、小学生物学、小学化学、小学物理、小学数学、小学英语、小学科学、小学计算机科学、计算机安全、日常经济、电气工程、形式逻辑、世界历史、地理位置、性别与性。这些问题是由自托管的Miqu-70B生成的。数据集仅包含英语。

原始信息汇总

数据集概述

数据集名称

Next Generation Benchmark: The NotMMLU Bench

数据集摘要

这是一个多任务测试，包含来自不同知识领域的问答题（部分为选择题），涉及以下主题：

• 抽象代数
• 解剖学
• 天文学
• 商业伦理
• 临床知识
• 小学生物学
• 小学化学
• 小学物理
• 小学数学
• 小学英语
• 小学科学
• 小学计算机科学
• 计算机安全
• 日常经济
• 电气工程
• 形式逻辑
• 世界历史
• 地理位置
• 性别与性取向

语言

数据集仅包含英语内容。

数据集结构

数据实例

由于目前是一个实验性基准，数据集不提供答案键。以下是数据集的一个样本： json { "question": "Genshin Impact features various elemental reactions when two or more elements come into contact. One of these reactions is Cryo (cold) and Hydro (water) which creates the effect known as "Freeze." In the game, freezing water causes the temperature to drop to a specific point where water molecules begin to change their state from liquid to solid. Based on Singapores climate and its average temperature throughout the year, do you think it would be possible to create this elemental reaction between Cryo and Hydro in real life? Explain your answer with reference to Singapores climate. (4 marks)", "meta": { "mmlu_pin": "Primary School Biology", "stopic": "Anime / Game: Genshin Impact" } }