neulab/PangeaBench-xmmmu

--- language: - ar - fr - hi - id - ja - pt - en license: mit size_categories: - 1K<n<10K task_categories: - visual-question-answering - question-answering - multiple-choice pretty_name: xmmmu dataset_info: features: - name: id dtype: string - name: question dtype: string - name: options dtype: string - name: explanation dtype: string - name: image_1 dtype: image - name: image_2 dtype: image - name: image_3 dtype: image - name: image_4 dtype: image - name: image_5 dtype: image - name: image_6 dtype: image - name: image_7 dtype: image - name: img_type dtype: string - name: answer dtype: string - name: topic_difficulty dtype: string - name: question_type dtype: string - name: subfield dtype: string splits: - name: ar num_examples: 298 - name: fr num_examples: 298 - name: hi num_examples: 291 - name: id num_examples: 297 - name: ja num_examples: 269 - name: pt num_examples: 297 - name: en num_examples: 900 configs: - config_name: default data_files: - split: ar path: data/translated_MMMU_val_300_with_image_Arabic.parquet - split: fr path: data/translated_MMMU_val_300_with_image_French.parquet - split: hi path: data/translated_MMMU_val_300_with_image_Hindi.parquet - split: id path: data/translated_MMMU_val_300_with_image_Indonesian.parquet - split: ja path: data/translated_MMMU_val_300_with_image_Japanese.parquet - split: pt path: data/translated_MMMU_val_300_with_image_Portuguese.parquet - split: en path: data/en.parquet ---语言： - 阿拉伯语（ar） - 法语（fr） - 印地语（hi） - 印尼语（id） - 日语（ja） - 葡萄牙语（pt） - 英语（en） 许可证：MIT许可证 规模类别：1000 < 样本数 < 10000 任务类别： - 视觉问答（visual-question-answering） - 问答（question-answering） - 多项选择（multiple-choice） 展示名称：xmmmu 数据集信息： 特征： - 名称：id，数据类型：字符串 - 名称：问题（question），数据类型：字符串 - 名称：选项（options），数据类型：字符串 - 名称：解析（explanation），数据类型：字符串 - 名称：图像1（image_1），数据类型：图像 - 名称：图像2（image_2），数据类型：图像 - 名称：图像3（image_3），数据类型：图像 - 名称：图像4（image_4），数据类型：图像 - 名称：图像5（image_5），数据类型：图像 - 名称：图像6（image_6），数据类型：图像 - 名称：图像7（image_7），数据类型：图像 - 名称：图像类型（img_type），数据类型：字符串 - 名称：答案（answer），数据类型：字符串 - 名称：题目难度（topic_difficulty），数据类型：字符串 - 名称：题目类型（question_type），数据类型：字符串 - 名称：子领域（subfield），数据类型：字符串 数据集划分： - 划分名称：阿拉伯语（ar），样本数量：298 - 划分名称：法语（fr），样本数量：298 - 划分名称：印地语（hi），样本数量：291 - 划分名称：印尼语（id），样本数量：297 - 划分名称：日语（ja），样本数量：269 - 划分名称：葡萄牙语（pt），样本数量：297 - 划分名称：英语（en），样本数量：900 配置项： - 配置名称：默认配置（default），数据文件： - 划分：阿拉伯语（ar），路径：data/translated_MMMU_val_300_with_image_Arabic.parquet - 划分：法语（fr），路径：data/translated_MMMU_val_300_with_image_French.parquet - 划分：印地语（hi），路径：data/translated_MMMU_val_300_with_image_Hindi.parquet - 划分：印尼语（id），路径：data/translated_MMMU_val_300_with_image_Indonesian.parquet - 划分：日语（ja），路径：data/translated_MMMU_val_300_with_image_Japanese.parquet - 划分：葡萄牙语（pt），路径：data/translated_MMMU_val_300_with_image_Portuguese.parquet - 划分：英语（en），路径：data/en.parquet