mugezhang/global_mmlu_eval_multirepr

---
dataset_info:
- config_name: en
features:
- name: sample_id
dtype: string
- name: subject
dtype: string
- name: subject_category
dtype: string
- name: question
dtype: string
- name: option_a
dtype: string
- name: option_b
dtype: string
- name: option_c
dtype: string
- name: option_d
dtype: string
- name: answer
dtype: string
- name: required_knowledge
dtype: string
- name: time_sensitive
dtype: string
- name: reference
dtype: string
- name: culture
dtype: string
- name: region
dtype: string
- name: country
dtype: string
- name: cultural_sensitivity_label
dtype: string
- name: is_annotated
dtype: bool
- name: question_phonemes
dtype: string
- name: question_ipa_stripped
dtype: string
- name: question_romanized
dtype: string
- name: option_a_phonemes
dtype: string
- name: option_a_ipa_stripped
dtype: string
- name: option_a_romanized
dtype: string
- name: option_b_phonemes
dtype: string
- name: option_b_ipa_stripped
dtype: string
- name: option_b_romanized
dtype: string
- name: option_c_phonemes
dtype: string
- name: option_c_ipa_stripped
dtype: string
- name: option_c_romanized
dtype: string
- name: option_d_phonemes
dtype: string
- name: option_d_ipa_stripped
dtype: string
- name: option_d_romanized
dtype: string
splits:
- name: dev
num_bytes: 594896
num_examples: 285
- name: test
num_bytes: 33437142
num_examples: 14042
download_size: 16909212
dataset_size: 34032038
- config_name: es
features:
- name: sample_id
dtype: string
- name: subject
dtype: string
- name: subject_category
dtype: string
- name: question
dtype: string
- name: option_a
dtype: string
- name: option_b
dtype: string
- name: option_c
dtype: string
- name: option_d
dtype: string
- name: answer
dtype: string
- name: required_knowledge
dtype: string
- name: time_sensitive
dtype: string
- name: reference
dtype: string
- name: culture
dtype: string
- name: region
dtype: string
- name: country
dtype: string
- name: cultural_sensitivity_label
dtype: string
- name: is_annotated
dtype: bool
- name: question_phonemes
dtype: string
- name: question_ipa_stripped
dtype: string
- name: question_romanized
dtype: string
- name: option_a_phonemes
dtype: string
- name: option_a_ipa_stripped
dtype: string
- name: option_a_romanized
dtype: string
- name: option_b_phonemes
dtype: string
- name: option_b_ipa_stripped
dtype: string
- name: option_b_romanized
dtype: string
- name: option_c_phonemes
dtype: string
- name: option_c_ipa_stripped
dtype: string
- name: option_c_romanized
dtype: string
- name: option_d_phonemes
dtype: string
- name: option_d_ipa_stripped
dtype: string
- name: option_d_romanized
dtype: string
splits:
- name: dev
num_bytes: 618088
num_examples: 285
- name: test
num_bytes: 35468343
num_examples: 14042
download_size: 18048498
dataset_size: 36086431
- config_name: pl
features:
- name: sample_id
dtype: string
- name: subject
dtype: string
- name: subject_category
dtype: string
- name: question
dtype: string
- name: option_a
dtype: string
- name: option_b
dtype: string
- name: option_c
dtype: string
- name: option_d
dtype: string
- name: answer
dtype: string
- name: required_knowledge
dtype: string
- name: time_sensitive
dtype: string
- name: reference
dtype: string
- name: culture
dtype: string
- name: region
dtype: string
- name: country
dtype: string
- name: cultural_sensitivity_label
dtype: string
- name: is_annotated
dtype: bool
- name: question_phonemes
dtype: string
- name: question_ipa_stripped
dtype: string
- name: question_romanized
dtype: string
- name: option_a_phonemes
dtype: string
- name: option_a_ipa_stripped
dtype: string
- name: option_a_romanized
dtype: string
- name: option_b_phonemes
dtype: string
- name: option_b_ipa_stripped
dtype: string
- name: option_b_romanized
dtype: string
- name: option_c_phonemes
dtype: string
- name: option_c_ipa_stripped
dtype: string
- name: option_c_romanized
dtype: string
- name: option_d_phonemes
dtype: string
- name: option_d_ipa_stripped
dtype: string
- name: option_d_romanized
dtype: string
splits:
- name: dev
num_bytes: 625171
num_examples: 285
- name: test
num_bytes: 34849343
num_examples: 14042
download_size: 18901437
dataset_size: 35474514
- config_name: ru
features:
- name: sample_id
dtype: string
- name: subject
dtype: string
- name: subject_category
dtype: string
- name: question
dtype: string
- name: option_a
dtype: string
- name: option_b
dtype: string
- name: option_c
dtype: string
- name: option_d
dtype: string
- name: answer
dtype: string
- name: required_knowledge
dtype: string
- name: time_sensitive
dtype: string
- name: reference
dtype: string
- name: culture
dtype: string
- name: region
dtype: string
- name: country
dtype: string
- name: cultural_sensitivity_label
dtype: string
- name: is_annotated
dtype: bool
- name: question_phonemes
dtype: string
- name: question_ipa_stripped
dtype: string
- name: question_romanized
dtype: string
- name: option_a_phonemes
dtype: string
- name: option_a_ipa_stripped
dtype: string
- name: option_a_romanized
dtype: string
- name: option_b_phonemes
dtype: string
- name: option_b_ipa_stripped
dtype: string
- name: option_b_romanized
dtype: string
- name: option_c_phonemes
dtype: string
- name: option_c_ipa_stripped
dtype: string
- name: option_c_romanized
dtype: string
- name: option_d_phonemes
dtype: string
- name: option_d_ipa_stripped
dtype: string
- name: option_d_romanized
dtype: string
splits:
- name: dev
num_bytes: 756069
num_examples: 285
- name: test
num_bytes: 42446836
num_examples: 14042
download_size: 21047561
dataset_size: 43202905
configs:
- config_name: en
data_files:
- split: dev
path: en/dev-*
- split: test
path: en/test-*
- config_name: es
data_files:
- split: dev
path: es/dev-*
- split: test
path: es/test-*
- config_name: pl
data_files:
- split: dev
path: pl/dev-*
- split: test
path: pl/test-*
- config_name: ru
data_files:
- split: dev
path: ru/dev-*
- split: test
path: ru/test-*
---

数据集信息:
- 配置名称: en
特征字段:
- 名称: 样本ID
数据类型: 字符串（string）
- 名称: 主题
数据类型: 字符串（string）
- 名称: 主题类别
数据类型: 字符串（string）
- 名称: 问题
数据类型: 字符串（string）
- 名称: 选项A
数据类型: 字符串（string）
- 名称: 选项B
数据类型: 字符串（string）
- 名称: 选项C
数据类型: 字符串（string）
- 名称: 选项D
数据类型: 字符串（string）
- 名称: 答案
数据类型: 字符串（string）
- 名称: 所需知识
数据类型: 字符串（string）
- 名称: 时效性
数据类型: 字符串（string）
- 名称: 参考资料
数据类型: 字符串（string）
- 名称: 文化相关
数据类型: 字符串（string）
- 名称: 地区
数据类型: 字符串（string）
- 名称: 国家
数据类型: 字符串（string）
- 名称: 文化敏感性标签
数据类型: 字符串（string）
- 名称: 是否标注
数据类型: 布尔型（bool）
- 名称: 问题音素
数据类型: 字符串（string）
- 名称: 问题剥离国际音标版本
数据类型: 字符串（string）
- 名称: 问题罗马字转写
数据类型: 字符串（string）
- 名称: 选项A音素
数据类型: 字符串（string）
- 名称: 选项A剥离国际音标版本
数据类型: 字符串（string）
- 名称: 选项A罗马字转写
数据类型: 字符串（string）
- 名称: 选项B音素
数据类型: 字符串（string）
- 名称: 选项B剥离国际音标版本
数据类型: 字符串（string）
- 名称: 选项B罗马字转写
数据类型: 字符串（string）
- 名称: 选项C音素
数据类型: 字符串（string）
- 名称: 选项C剥离国际音标版本
数据类型: 字符串（string）
- 名称: 选项C罗马字转写
数据类型: 字符串（string）
- 名称: 选项D音素
数据类型: 字符串（string）
- 名称: 选项D剥离国际音标版本
数据类型: 字符串（string）
- 名称: 选项D罗马字转写
数据类型: 字符串（string）
划分集:
- 名称: dev
字节数: 594896
样本数量: 285
- 名称: test
字节数: 33437142
样本数量: 14042
下载大小: 16909212
数据集总大小: 34032038
- 配置名称: es
特征字段:
- 名称: 样本ID
数据类型: 字符串（string）
- 名称: 主题
数据类型: 字符串（string）
- 名称: 主题类别
数据类型: 字符串（string）
- 名称: 问题
数据类型: 字符串（string）
- 名称: 选项A
数据类型: 字符串（string）
- 名称: 选项B
数据类型: 字符串（string）
- 名称: 选项C
数据类型: 字符串（string）
- 名称: 选项D
数据类型: 字符串（string）
- 名称: 答案
数据类型: 字符串（string）
- 名称: 所需知识
数据类型: 字符串（string）
- 名称: 时效性
数据类型: 字符串（string）
- 名称: 参考资料
数据类型: 字符串（string）
- 名称: 文化相关
数据类型: 字符串（string）
- 名称: 地区
数据类型: 字符串（string）
- 名称: 国家
数据类型: 字符串（string）
- 名称: 文化敏感性标签
数据类型: 字符串（string）
- 名称: 是否标注
数据类型: 布尔型（bool）
- 名称: 问题音素
数据类型: 字符串（string）
- 名称: 问题剥离国际音标版本
数据类型: 字符串（string）
- 名称: 问题罗马字转写
数据类型: 字符串（string）
- 名称: 选项A音素
数据类型: 字符串（string）
- 名称: 选项A剥离国际音标版本
数据类型: 字符串（string）
- 名称: 选项A罗马字转写
数据类型: 字符串（string）
- 名称: 选项B音素
数据类型: 字符串（string）
- 名称: 选项B剥离国际音标版本
数据类型: 字符串（string）
- 名称: 选项B罗马字转写
数据类型: 字符串（string）
- 名称: 选项C音素
数据类型: 字符串（string）
- 名称: 选项C剥离国际音标版本
数据类型: 字符串（string）
- 名称: 选项C罗马字转写
数据类型: 字符串（string）
- 名称: 选项D音素
数据类型: 字符串（string）
- 名称: 选项D剥离国际音标版本
数据类型: 字符串（string）
- 名称: 选项D罗马字转写
数据类型: 字符串（string）
划分集:
- 名称: dev
字节数: 618088
样本数量: 285
- 名称: test
字节数: 35468343
样本数量: 14042
下载大小: 18048498
数据集总大小: 36086431
- 配置名称: pl
特征字段:
- 名称: 样本ID
数据类型: 字符串（string）
- 名称: 主题
数据类型: 字符串（string）
- 名称: 主题类别
数据类型: 字符串（string）
- 名称: 问题
数据类型: 字符串（string）
- 名称: 选项A
数据类型: 字符串（string）
- 名称: 选项B
数据类型: 字符串（string）
- 名称: 选项C
数据类型: 字符串（string）
- 名称: 选项D
数据类型: 字符串（string）
- 名称: 答案
数据类型: 字符串（string）
- 名称: 所需知识
数据类型: 字符串（string）
- 名称: 时效性
数据类型: 字符串（string）
- 名称: 参考资料
数据类型: 字符串（string）
- 名称: 文化相关
数据类型: 字符串（string）
- 名称: 地区
数据类型: 字符串（string）
- 名称: 国家
数据类型: 字符串（string）
- 名称: 文化敏感性标签
数据类型: 字符串（string）
- 名称: 是否标注
数据类型: 布尔型（bool）
- 名称: 问题音素
数据类型: 字符串（string）
- 名称: 问题剥离国际音标版本
数据类型: 字符串（string）
- 名称: 问题罗马字转写
数据类型: 字符串（string）
- 名称: 选项A音素
数据类型: 字符串（string）
- 名称: 选项A剥离国际音标版本
数据类型: 字符串（string）
- 名称: 选项A罗马字转写
数据类型: 字符串（string）
- 名称: 选项B音素
数据类型: 字符串（string）
- 名称: 选项B剥离国际音标版本
数据类型: 字符串（string）
- 名称: 选项B罗马字转写
数据类型: 字符串（string）
- 名称: 选项C音素
数据类型: 字符串（string）
- 名称: 选项C剥离国际音标版本
数据类型: 字符串（string）
- 名称: 选项C罗马字转写
数据类型: 字符串（string）
- 名称: 选项D音素
数据类型: 字符串（string）
- 名称: 选项D剥离国际音标版本
数据类型: 字符串（string）
- 名称: 选项D罗马字转写
数据类型: 字符串（string）
划分集:
- 名称: dev
字节数: 625171
样本数量: 285
- 名称: test
字节数: 34849343
样本数量: 14042
下载大小: 18901437
数据集总大小: 35474514
- 配置名称: ru
特征字段:
- 名称: 样本ID
数据类型: 字符串（string）
- 名称: 主题
数据类型: 字符串（string）
- 名称: 主题类别
数据类型: 字符串（string）
- 名称: 问题
数据类型: 字符串（string）
- 名称: 选项A
数据类型: 字符串（string）
- 名称: 选项B
数据类型: 字符串（string）
- 名称: 选项C
数据类型: 字符串（string）
- 名称: 选项D
数据类型: 字符串（string）
- 名称: 答案
数据类型: 字符串（string）
- 名称: 所需知识
数据类型: 字符串（string）
- 名称: 时效性
数据类型: 字符串（string）
- 名称: 参考资料
数据类型: 字符串（string）
- 名称: 文化相关
数据类型: 字符串（string）
- 名称: 地区
数据类型: 字符串（string）
- 名称: 国家
数据类型: 字符串（string）
- 名称: 文化敏感性标签
数据类型: 字符串（string）
- 名称: 是否标注
数据类型: 布尔型（bool）
- 名称: 问题音素
数据类型: 字符串（string）
- 名称: 问题剥离国际音标版本
数据类型: 字符串（string）
- 名称: 问题罗马字转写
数据类型: 字符串（string）
- 名称: 选项A音素
数据类型: 字符串（string）
- 名称: 选项A剥离国际音标版本
数据类型: 字符串（string）
- 名称: 选项A罗马字转写
数据类型: 字符串（string）
- 名称: 选项B音素
数据类型: 字符串（string）
- 名称: 选项B剥离国际音标版本
数据类型: 字符串（string）
- 名称: 选项B罗马字转写
数据类型: 字符串（string）
- 名称: 选项C音素
数据类型: 字符串（string）
- 名称: 选项C剥离国际音标版本
数据类型: 字符串（string）
- 名称: 选项C罗马字转写
数据类型: 字符串（string）
- 名称: 选项D音素
数据类型: 字符串（string）
- 名称: 选项D剥离国际音标版本
数据类型: 字符串（string）
- 名称: 选项D罗马字转写
数据类型: 字符串（string）
划分集:
- 名称: dev
字节数: 756069
样本数量: 285
- 名称: test
字节数: 42446836
样本数量: 14042
下载大小: 21047561
数据集总大小: 43202905
配置项:
- 配置名称: en
数据文件:
- 划分: dev
路径: en/dev-*
- 划分: test
路径: en/test-*
- 配置名称: es
数据文件:
- 划分: dev
路径: es/dev-*
- 划分: test
路径: es/test-*
- 配置名称: pl
数据文件:
- 划分: dev
路径: pl/dev-*
- 划分: test
路径: pl/test-*
- 配置名称: ru
数据文件:
- 划分: dev
路径: ru/dev-*
- 划分: test
路径: ru/test-*