efederici/MMLU-Pro-ita

MMLU-Pro-ita数据集是MMLU-Pro的意大利语翻译版本，旨在更严格地评估大型语言模型的能力。它包含12K个复杂问题，涵盖多个学科。与原始MMLU相比，MMLU-Pro增加了选项数量，提高了问题的难度，并集成了更多需要推理的问题。数据集构建过程包括初始筛选、问题收集与整合、选项增强和专家评审。翻译过程使用了Claude Opus模型，并采用了‘草稿和精炼’技术。

原始信息汇总

MMLU-Pro-ita 数据集概述

数据集基本信息

• 语言: 意大利语 (it)
• 许可证: MIT
• 大小分类: 10K<n<100K
• 任务分类: 问答 (question-answering)
• 美观名称: MMLU-Pro-ita

数据集特征

• 问题ID: 整数64位
• 问题: 字符串
• 选项: 字符串序列
• 答案: 字符串
• 答案索引: 整数64位
• CoT内容: 字符串
• 类别: 字符串
• 来源: 字符串

数据集分割

• 测试集:
  • 字节数: 9761327
  • 示例数: 12187
• 验证集:
  • 字节数: 73374
  • 示例数: 70

数据集下载和大小

• 下载大小: 5237739字节
• 数据集大小: 9834701字节

数据集配置

• 默认配置:
  • 测试数据路径: data/test-*
  • 验证数据路径: data/validation-*

数据集内容

• 问题和选项: 每个问题通常有十个多选选项，增加了问题的复杂性和鲁棒性。
• 来源: 数据集整合了来自原始MMLU数据集、STEM网站、theoremQA和scibench的问题。
• 学科覆盖: 新增数据涵盖了生物学、商业、化学、计算机科学、经济学、工程、数学、物理和心理学等学科。

数据集构建

• 初始筛选: 从原始MMLU数据集中筛选出符合更高难度和相关性阈值的问题。
• 问题收集和整合: 从STEM网站、theoremQA和scibench中精选问题，注重问题的复杂性和质量。
• 选项增强: 使用GPT-4将每个问题的选项从四个增加到十个，生成需要辨别推理的合理干扰项。
• 专家评审: 每道题及其选项都经过十多位专家的严格审查，确保问题的挑战性、全面性、准确性和公平性。

数据集翻译

• 翻译方法: 使用Claude Opus采用草稿和精炼技术进行翻译，仅保留精炼后的翻译。

搜集汇总

背景与挑战

背景概述

MMLU-Pro-ita是MMLU-Pro数据集的意大利语翻译版本，包含约12,000个复杂多学科选择题，每个问题通常提供10个选项以增强挑战性。该数据集整合了原始MMLU问题以及来自STEM网站、TheoremQA和Scibench的高质量题目，覆盖数学、物理、化学、法律、工程、心理学、经济学、商业、生物学、哲学、计算机科学和历史等多个学科，并经过专家严格评审确保准确性和公平性。