malteos/wechsel_de

该数据集是一个德语验证数据集，用于评估大型语言模型（LLM）的困惑度。数据集包含两个JSON-line格式的文件：一个是完整的验证集（163,698个文档），另一个是随机抽取的1%的验证集（1636个文档）。

原始信息汇总

数据集概述

语言

• 德语（de）

任务类别

• 文本生成

大小类别

• 100k<n<1M

任务ID

• 语言建模
• 掩码语言建模

数据集描述

• 用于评估大型语言模型（LLM）困惑度的德语验证数据集，来源于WECHSEL。

数据集文件

• valid.json.gz: 由论文生成的压缩验证集，包含163,698个文档。
• valid.random_1636.json.gz: 随机抽取的验证集的1%，包含1636个文档。