seedboxai/eval-german

Name: seedboxai/eval-german
Creator: seedboxai
Published: 2023-11-15 07:34:51
License: 暂无描述

Hugging Face2023-11-15 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/seedboxai/eval-german

下载链接

链接失效反馈

官方服务：

资源简介：

--- configs: - config_name: default data_files: - split: arc_challenge path: data/arc_challenge-* - split: arc_easy path: data/arc_easy-* - split: mmlu path: data/mmlu-* - split: tqa path: data/tqa-* - split: hellaSwag path: data/hellaSwag-* dataset_info: features: - name: question dtype: string - name: choices sequence: string - name: answerKey dtype: string - name: source_eval_dataset dtype: string - name: prompt_id dtype: string - name: eval_prompt dtype: string - name: __index_level_0__ dtype: int64 splits: - name: arc_challenge num_bytes: 221008 num_examples: 295 - name: arc_easy num_bytes: 354359 num_examples: 567 - name: mmlu num_bytes: 298547 num_examples: 285 - name: tqa num_bytes: 511912 num_examples: 684 - name: hellaSwag num_bytes: 1003982 num_examples: 1000 download_size: 1334333 dataset_size: 2389808 --- # Dataset Card for "german-eval" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

配置项： - 配置名称：default（默认）数据文件： - 划分集：arc_challenge，路径：data/arc_challenge-* - 划分集：arc_easy，路径：data/arc_easy-* - 划分集：mmlu，路径：data/mmlu-* - 划分集：tqa，路径：data/tqa-* - 划分集：hellaSwag，路径：data/hellaSwag-* 数据集信息：特征字段： - 字段名：question（问题），数据类型：字符串 - 字段名：choices（候选选项），序列类型：字符串 - 字段名：answerKey（答案键），数据类型：字符串 - 字段名：source_eval_dataset（源评估数据集），数据类型：字符串 - 字段名：prompt_id（提示ID），数据类型：字符串 - 字段名：eval_prompt（评估提示），数据类型：字符串 - 字段名：__index_level_0__，数据类型：64位整数划分集详情： - 划分集名称：arc_challenge，字节数：221008，样本数：295 - 划分集名称：arc_easy，字节数：354359，样本数：567 - 划分集名称：mmlu，字节数：298547，样本数：285 - 划分集名称：tqa，字节数：511912，样本数：684 - 划分集名称：hellaSwag，字节数：1003982，样本数：1000 下载大小：1334333，数据集总大小：2389808 # 「german-eval」数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

提供机构：

seedboxai

原始信息汇总

数据集概述

配置信息

默认配置：
- 数据文件：
  - arc_challenge：路径为 data/arc_challenge-*
  - arc_easy：路径为 data/arc_easy-*
  - mmlu：路径为 data/mmlu-*
  - tqa：路径为 data/tqa-*
  - hellaSwag：路径为 data/hellaSwag-*

数据集信息

特征：
- question：类型为 string
- choices：类型为 sequence 的 string
- answerKey：类型为 string
- source_eval_dataset：类型为 string
- prompt_id：类型为 string
- eval_prompt：类型为 string
- __index_level_0__：类型为 int64
分割：
- arc_challenge：字节数为 221008，样本数为 295
- arc_easy：字节数为 354359，样本数为 567
- mmlu：字节数为 298547，样本数为 285
- tqa：字节数为 511912，样本数为 684
- hellaSwag：字节数为 1003982，样本数为 1000
数据集大小：
- 下载大小：1334333 字节
- 数据集大小：2389808 字节

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，对模型在非英语语言上的评估需求日益增长，seedboxai/eval-german数据集应运而生。该数据集通过整合多个广受认可的英文评估基准的德语翻译版本构建而成，具体涵盖了ARC（包括挑战集与简易集）、MMLU、TriviaQA以及HellaSwag五个子集。每个子集均保留了原始问题的结构，包括问题文本、选项列表、正确答案索引，并额外标注了来源数据集名称、提示模板标识符及对应的评估提示，从而确保了跨语言评估的一致性与可追溯性。

特点

该数据集的核心特征在于其多维度、多任务的评估架构。它汇聚了来自常识推理（ARC）、世界知识（MMLU）、事实问答（TriviaQA）与情境推理（HellaSwag）等不同认知层面的测试样例，总计超过2800条德语问题。每个样本均以结构化的形式呈现，包含问题、选项、答案键以及元数据字段，便于研究者进行细粒度的性能分析。特别地，其内置的prompt_id与eval_prompt字段为探究不同提示策略对模型表现的影响提供了宝贵资源。

使用方法

使用seedboxai/eval-german数据集时，研究者可通过Hugging Face Datasets库便捷加载，指定配置名为'default'即可自动获取所有五个评估子集。加载后的数据集可直接用于评估德语语言模型的零样本或少样本能力，通过比较模型输出与answerKey字段计算准确率。此外，研究者可利用source_eval_dataset字段按来源对结果进行分组分析，或借助prompt_id字段系统性地测试不同提示模板对模型推理效果的影响，从而深入理解模型在德语环境下的行为特性。

背景与挑战

背景概述

在自然语言处理领域，多任务评估基准对于衡量语言模型的综合能力至关重要，尤其是针对非英语语言的评测资源长期匮乏。seedboxai/eval-german数据集由SeedBox AI团队于近期构建，旨在填补德语语言模型标准化评估的空白。该数据集整合了ARC（挑战集与简易集）、MMLU、TriviaQA和HellaSwag五个经典英文评测任务的德语翻译与适配版本，覆盖常识推理、知识问答、文本理解等核心能力维度。通过提供统一格式的德语评测样本，该数据集为研究者提供了跨任务、跨领域的标准化评估平台，推动了德语语言模型研究的可复现性与可比性，对多语言自然语言处理领域产生了重要影响。

当前挑战

该数据集所解决的领域问题在于德语语言模型缺乏统一、多维度评测基准，现有英文基准无法直接迁移至德语场景，导致模型性能评估存在语言偏差。构建过程中面临的核心挑战包括：1）高质量翻译与本地化适配，需确保英文原题在德语语境下的语义等价性与文化适切性，避免字面翻译导致的歧义；2）多源数据格式统一，五个来源数据集具有不同的问题结构与答案格式，需设计通用schema进行标准化；3）样本平衡与难度分布控制，不同子集样本量差异显著（如HellaSwag含1000例而ARC挑战集仅295例），需设计合理的采样策略以避免评估偏差；4）答案验证机制构建，需建立自动与人工结合的答案正确性校验流程，确保翻译后答案仍保持唯一性与正确性。

常用场景

经典使用场景

在自然语言处理与测评领域，seedboxai/eval-german 数据集被广泛用于德语语言模型的基准测试与多任务评估。该数据集整合了多个经典英语评估任务（如 ARC、MMLU、HellaSwag 和 TriviaQA）的德语版本，为研究者提供了一套标准化的德语推理与知识理解评测框架。其经典使用场景在于评估预训练模型在德语环境下的零样本或少样本推理能力，涵盖常识推理、科学知识、语言歧义消解与事实性问答等核心维度，从而揭示模型跨语言迁移的效能与瓶颈。

衍生相关工作

基于该数据集，学界衍生出多项聚焦德语模型评估的研究工作。典型代表包括针对德语大语言模型的跨任务性能分析，以及探索提示工程对德语推理任务效果影响的系统性实验。此外，该数据集被用于构建德语语言理解排行榜，催生了诸如德语版 SuperGLUE 的基准扩展工作，并推动了多语言模型在德语知识问答与常识推理场景下的对比研究。这些衍生工作不仅深化了对德语语言模型能力的认知，也为跨语言自然语言处理研究提供了方法论启示。

数据集最近研究