LeoLM/MMLU_de
收藏Hugging Face2024-01-03 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/LeoLM/MMLU_de
下载链接
链接失效反馈官方服务：
资源简介：
该数据集名为Massive Multitask Language Understanding (MMLU) in German，用于评估大型语言模型（LLM）对德语的理解能力。数据集基于hendrycksTest数据集，并通过GPT-3.5 API将整个测试集和部分验证集翻译成德语。为了确保答案选项遵循预期的句子结构并保持正确的格式，GPT被提示以JSON格式输出。这一过程带来了一些问题，但后来通过手动修复解决了。翻译过程的成本约为13欧元。
该数据集名为Massive Multitask Language Understanding (MMLU) in German，用于评估大型语言模型（LLM）对德语的理解能力。数据集基于hendrycksTest数据集，并通过GPT-3.5 API将整个测试集和部分验证集翻译成德语。为了确保答案选项遵循预期的句子结构并保持正确的格式，GPT被提示以JSON格式输出。这一过程带来了一些问题，但后来通过手动修复解决了。翻译过程的成本约为13欧元。
提供机构：
LeoLM
原始信息汇总
Massive Multitask Language Understanding (MMLU) in German 数据集概述
数据集用途
- 用于评估LLM（大型语言模型）对德语语言的理解能力。
数据集来源与创建
- 基于hendrycksTest数据集，通过GPT-3.5 API进行翻译。
- 翻译内容包括整个测试集及部分验证集的示例。
- 为了确保答案选项遵循正确的句子结构和格式，GPT-3.5被指示以JSON格式输出，部分复杂问题后续进行了手动修正。
翻译成本
- 翻译过程的总成本约为13€，包括对提示的迭代和修复错误示例。
