ibragim-bad/mmlu_multilang

---
dataset_info:
- config_name: ar
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: string
splits:
- name: test
num_bytes: 7864084
num_examples: 12928
- name: validation
num_bytes: 883219
num_examples: 1433
- name: dev
num_bytes: 156056
num_examples: 274
download_size: 4524289
dataset_size: 8903359
- config_name: de
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: string
splits:
- name: test
num_bytes: 6638983
num_examples: 13258
- name: validation
num_bytes: 737403
num_examples: 1449
- name: dev
num_bytes: 125497
num_examples: 277
download_size: 4529619
dataset_size: 7501883
- config_name: es
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: string
splits:
- name: test
num_bytes: 6645225
num_examples: 13334
- name: validation
num_bytes: 737854
num_examples: 1465
- name: dev
num_bytes: 117539
num_examples: 272
download_size: 4391641
dataset_size: 7500618
- config_name: fr
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: string
splits:
- name: test
num_bytes: 6536969
num_examples: 13091
- name: validation
num_bytes: 701837
num_examples: 1417
- name: dev
num_bytes: 119548
num_examples: 270
download_size: 4326619
dataset_size: 7358354
- config_name: he
features:
- name: ind
dtype: int64
- name: question
dtype: string
- name: choices
sequence: string
- name: subject
dtype: string
- name: answer
dtype: string
- name: split
dtype: string
splits:
- name: validation
num_bytes: 654825
num_examples: 1235
download_size: 307567
dataset_size: 654825
- config_name: it
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: string
splits:
- name: test
num_bytes: 6409239
num_examples: 13237
- name: validation
num_bytes: 705044
num_examples: 1444
- name: dev
num_bytes: 118014
num_examples: 274
download_size: 4311638
dataset_size: 7232297
- config_name: ru
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: string
splits:
- name: test
num_bytes: 10067219
num_examples: 13007
- name: validation
num_bytes: 1179355
num_examples: 1450
- name: dev
num_bytes: 204021
num_examples: 279
download_size: 5585645
dataset_size: 11450595
configs:
- config_name: ar
data_files:
- split: test
path: ar/test-*
- split: validation
path: ar/validation-*
- split: dev
path: ar/dev-*
- config_name: de
data_files:
- split: test
path: de/test-*
- split: validation
path: de/validation-*
- split: dev
path: de/dev-*
- config_name: es
data_files:
- split: test
path: es/test-*
- split: validation
path: es/validation-*
- split: dev
path: es/dev-*
- config_name: fr
data_files:
- split: test
path: fr/test-*
- split: validation
path: fr/validation-*
- split: dev
path: fr/dev-*
- config_name: he
data_files:
- split: validation
path: he/validation-*
- config_name: it
data_files:
- split: test
path: it/test-*
- split: validation
path: it/validation-*
- split: dev
path: it/dev-*
- config_name: ru
data_files:
- split: test
path: ru/test-*
- split: validation
path: ru/validation-*
- split: dev
path: ru/dev-*
---

数据集信息：
- 配置名称：ar（阿拉伯语，Arabic）
特征字段：
- 字段名：问题（question），数据类型：字符串
- 字段名：选项（choices），数据类型：字符串序列
- 字段名：答案（answer），数据类型：字符串
数据划分：
- 划分集：测试集（test），字节数：7864084，样本数：12928
- 划分集：验证集（validation），字节数：883219，样本数：1433
- 划分集：开发集（dev），字节数：156056，样本数：274
下载大小：4524289，数据集总大小：8903359
- 配置名称：de（德语，German）
特征字段：
- 字段名：问题（question），数据类型：字符串
- 字段名：选项（choices），数据类型：字符串序列
- 字段名：答案（answer），数据类型：字符串
数据划分：
- 划分集：测试集（test），字节数：6638983，样本数：13258
- 划分集：验证集（validation），字节数：737403，样本数：1449
- 划分集：开发集（dev），字节数：125497，样本数：277
下载大小：4529619，数据集总大小：7501883
- 配置名称：es（西班牙语，Spanish）
特征字段：
- 字段名：问题（question），数据类型：字符串
- 字段名：选项（choices），数据类型：字符串序列
- 字段名：答案（answer），数据类型：字符串
数据划分：
- 划分集：测试集（test），字节数：6645225，样本数：13334
- 划分集：验证集（validation），字节数：737854，样本数：1465
- 划分集：开发集（dev），字节数：117539，样本数：272
下载大小：4391641，数据集总大小：7500618
- 配置名称：fr（法语，French）
特征字段：
- 字段名：问题（question），数据类型：字符串
- 字段名：选项（choices），数据类型：字符串序列
- 字段名：答案（answer），数据类型：字符串
数据划分：
- 划分集：测试集（test），字节数：6536969，样本数：13091
- 划分集：验证集（validation），字节数：701837，样本数：1417
- 划分集：开发集（dev），字节数：119548，样本数：270
下载大小：4326619，数据集总大小：7358354
- 配置名称：he（希伯来语，Hebrew）
特征字段：
- 字段名：索引（ind），数据类型：64位整数
- 字段名：问题（question），数据类型：字符串
- 字段名：选项（choices），数据类型：字符串序列
- 字段名：主题（subject），数据类型：字符串
- 字段名：答案（answer），数据类型：字符串
- 字段名：划分标识（split），数据类型：字符串
数据划分：
- 划分集：验证集（validation），字节数：654825，样本数：1235
下载大小：307567，数据集总大小：654825
- 配置名称：it（意大利语，Italian）
特征字段：
- 字段名：问题（question），数据类型：字符串
- 字段名：选项（choices），数据类型：字符串序列
- 字段名：答案（answer），数据类型：字符串
数据划分：
- 划分集：测试集（test），字节数：6409239，样本数：13237
- 划分集：验证集（validation），字节数：705044，样本数：1444
- 划分集：开发集（dev），字节数：118014，样本数：274
下载大小：4311638，数据集总大小：7232297
- 配置名称：ru（俄语，Russian）
特征字段：
- 字段名：问题（question），数据类型：字符串
- 字段名：选项（choices），数据类型：字符串序列
- 字段名：答案（answer），数据类型：字符串
数据划分：
- 划分集：测试集（test），字节数：10067219，样本数：13007
- 划分集：验证集（validation），字节数：1179355，样本数：1450
- 划分集：开发集（dev），字节数：204021，样本数：279
下载大小：5585645，数据集总大小：11450595
配置项：
- 配置名称：ar（阿拉伯语，Arabic）
数据文件：
- 划分集：测试集（test），路径：ar/test-*
- 划分集：验证集（validation），路径：ar/validation-*
- 划分集：开发集（dev），路径：ar/dev-*
- 配置名称：de（德语，German）
数据文件：
- 划分集：测试集（test），路径：de/test-*
- 划分集：验证集（validation），路径：de/validation-*
- 划分集：开发集（dev），路径：de/dev-*
- 配置名称：es（西班牙语，Spanish）
数据文件：
- 划分集：测试集（test），路径：es/test-*
- 划分集：验证集（validation），路径：es/validation-*
- 划分集：开发集（dev），路径：es/dev-*
- 配置名称：fr（法语，French）
数据文件：
- 划分集：测试集（test），路径：fr/test-*
- 划分集：验证集（validation），路径：fr/validation-*
- 划分集：开发集（dev），路径：fr/dev-*
- 配置名称：he（希伯来语，Hebrew）
数据文件：
- 划分集：验证集（validation），路径：he/validation-*
- 配置名称：it（意大利语，Italian）
数据文件：
- 划分集：测试集（test），路径：it/test-*
- 划分集：验证集（validation），路径：it/validation-*
- 划分集：开发集（dev），路径：it/dev-*
- 配置名称：ru（俄语，Russian）
数据文件：
- 划分集：测试集（test），路径：ru/test-*
- 划分集：验证集（validation），路径：ru/validation-*
- 划分集：开发集（dev），路径：ru/dev-*

原始信息汇总

数据集概述

数据集配置

阿拉伯语 (ar)

• 特征:
  • question: 字符串
  • choices: 字符串序列
  • answer: 字符串
• 分割:
  • test: 7864084 字节, 12928 样本
  • validation: 883219 字节, 1433 样本
  • dev: 156056 字节, 274 样本
• 下载大小: 4524289 字节
• 数据集大小: 8903359 字节

德语 (de)

• 特征:
  • question: 字符串
  • choices: 字符串序列
  • answer: 字符串
• 分割:
  • test: 6638983 字节, 13258 样本
  • validation: 737403 字节, 1449 样本
  • dev: 125497 字节, 277 样本
• 下载大小: 4529619 字节
• 数据集大小: 7501883 字节

西班牙语 (es)

• 特征:
  • question: 字符串
  • choices: 字符串序列
  • answer: 字符串
• 分割:
  • test: 6645225 字节, 13334 样本
  • validation: 737854 字节, 1465 样本
  • dev: 117539 字节, 272 样本
• 下载大小: 4391641 字节
• 数据集大小: 7500618 字节

法语 (fr)

• 特征:
  • question: 字符串
  • choices: 字符串序列
  • answer: 字符串
• 分割:
  • test: 6536969 字节, 13091 样本
  • validation: 701837 字节, 1417 样本
  • dev: 119548 字节, 270 样本
• 下载大小: 4326619 字节
• 数据集大小: 7358354 字节

希伯来语 (he)

• 特征:
  • ind: 64位整数
  • question: 字符串
  • choices: 字符串序列
  • subject: 字符串
  • answer: 字符串
  • split: 字符串
• 分割:
  • validation: 654825 字节, 1235 样本
• 下载大小: 307567 字节
• 数据集大小: 654825 字节

意大利语 (it)

• 特征:
  • question: 字符串
  • choices: 字符串序列
  • answer: 字符串
• 分割:
  • test: 6409239 字节, 13237 样本
  • validation: 705044 字节, 1444 样本
  • dev: 118014 字节, 274 样本
• 下载大小: 4311638 字节
• 数据集大小: 7232297 字节

俄语 (ru)

• 特征:
  • question: 字符串
  • choices: 字符串序列
  • answer: 字符串
• 分割:
  • test: 10067219 字节, 13007 样本
  • validation: 1179355 字节, 1450 样本
  • dev: 204021 字节, 279 样本
• 下载大小: 5585645 字节
• 数据集大小: 11450595 字节

数据文件路径

阿拉伯语 (ar)

• test: ar/test-*
• validation: ar/validation-*
• dev: ar/dev-*

德语 (de)

• test: de/test-*
• validation: de/validation-*
• dev: de/dev-*

西班牙语 (es)

• test: es/test-*
• validation: es/validation-*
• dev: es/dev-*

法语 (fr)

• test: fr/test-*
• validation: fr/validation-*
• dev: fr/dev-*

希伯来语 (he)

• validation: he/validation-*

意大利语 (it)

• test: it/test-*
• validation: it/validation-*
• dev: it/dev-*

俄语 (ru)

• test: ru/test-*
• validation: ru/validation-*
• dev: ru/dev-*