joey234/mmlu-global_facts

---
dataset_info:
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype:
class_label:
names:
'0': A
'1': B
'2': C
'3': D
- name: negate_openai_prompt
struct:
- name: content
dtype: string
- name: role
dtype: string
- name: neg_question
dtype: string
- name: fewshot_context
dtype: string
- name: fewshot_context_neg
dtype: string
splits:
- name: dev
num_bytes: 4472
num_examples: 5
- name: test
num_bytes: 330022
num_examples: 100
download_size: 57281
dataset_size: 334494
configs:
- config_name: default
data_files:
- split: dev
path: data/dev-*
- split: test
path: data/test-*
---
# Dataset Card for "mmlu-global_facts"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

mmlu-global_facts

数据特征

• question: 数据类型 - 字符串
• choices: 数据类型 - 序列字符串
• answer: 数据类型 - 分类标签，具体标签为：
  • 0: A
  • 1: B
  • 2: C
  • 3: D
• negate_openai_prompt: 结构化数据，包含：
  • content: 数据类型 - 字符串
  • role: 数据类型 - 字符串
• neg_question: 数据类型 - 字符串
• fewshot_context: 数据类型 - 字符串
• fewshot_context_neg: 数据类型 - 字符串

数据分割

• dev:
  • 数据大小: 4472 字节
  • 示例数量: 5
• test:
  • 数据大小: 330022 字节
  • 示例数量: 100

数据集大小

• 下载大小: 57281 字节
• 数据集总大小: 334494 字节

配置

• config_name: default
• data_files:
  • dev: 路径 - data/dev-*
  • test: 路径 - data/test-*

搜集汇总

背景与挑战

背景概述

该数据集是一个专注于全球事实的多选题文本数据集，包含105条数据，涵盖截至2019年的全球统计和事实问题，如人口、环境和社会态度。其特点在于每个问题都提供了否定形式的问题变体，并包含少样本上下文，适用于测试和训练模型对事实的理解及逻辑转换能力。数据集以parquet格式存储，分为dev和test子集，适用于自然语言处理研究和评估。