ricdomolm/bbh_cloze

---
dataset_info:
- config_name: date_understanding
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: int64
splits:
- name: test
num_bytes: 52204
num_examples: 250
download_size: 16911
dataset_size: 52204
- config_name: disambiguation_qa
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: int64
splits:
- name: test
num_bytes: 76867
num_examples: 250
download_size: 14786
dataset_size: 76867
- config_name: geometric_shapes
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: int64
splits:
- name: test
num_bytes: 65010
num_examples: 250
download_size: 18193
dataset_size: 65010
- config_name: hyperbaton
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: int64
splits:
- name: test
num_bytes: 37074
num_examples: 250
download_size: 10289
dataset_size: 37074
- config_name: logical_deduction_five_objects
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: int64
splits:
- name: test
num_bytes: 146345
num_examples: 250
download_size: 15985
dataset_size: 146345
- config_name: logical_deduction_seven_objects
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: int64
splits:
- name: test
num_bytes: 188272
num_examples: 250
download_size: 20661
dataset_size: 188272
- config_name: logical_deduction_three_objects
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: int64
splits:
- name: test
num_bytes: 104081
num_examples: 250
download_size: 11421
dataset_size: 104081
- config_name: movie_recommendation
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: int64
splits:
- name: test
num_bytes: 48769
num_examples: 249
download_size: 22291
dataset_size: 48769
- config_name: penguins_in_a_table
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: int64
splits:
- name: test
num_bytes: 68749
num_examples: 146
download_size: 10354
dataset_size: 68749
- config_name: reasoning_about_colored_objects
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: int64
splits:
- name: test
num_bytes: 85096
num_examples: 250
download_size: 18001
dataset_size: 85096
- config_name: ruin_names
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: int64
splits:
- name: test
num_bytes: 44056
num_examples: 248
download_size: 17812
dataset_size: 44056
- config_name: salient_translation_error_detection
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: int64
splits:
- name: test
num_bytes: 274610
num_examples: 250
download_size: 54272
dataset_size: 274610
- config_name: snarks
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: int64
splits:
- name: test
num_bytes: 37156
num_examples: 178
download_size: 16535
dataset_size: 37156
- config_name: temporal_sequences
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: int64
splits:
- name: test
num_bytes: 137546
num_examples: 250
download_size: 31087
dataset_size: 137546
- config_name: tracking_shuffled_objects_five_objects
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: int64
splits:
- name: test
num_bytes: 160340
num_examples: 250
download_size: 32655
dataset_size: 160340
- config_name: tracking_shuffled_objects_seven_objects
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: int64
splits:
- name: test
num_bytes: 204524
num_examples: 250
download_size: 42798
dataset_size: 204524
- config_name: tracking_shuffled_objects_three_objects
features:
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: int64
splits:
- name: test
num_bytes: 120354
num_examples: 250
download_size: 22387
dataset_size: 120354
configs:
- config_name: date_understanding
data_files:
- split: test
path: date_understanding/test-*
- config_name: disambiguation_qa
data_files:
- split: test
path: disambiguation_qa/test-*
- config_name: geometric_shapes
data_files:
- split: test
path: geometric_shapes/test-*
- config_name: hyperbaton
data_files:
- split: test
path: hyperbaton/test-*
- config_name: logical_deduction_five_objects
data_files:
- split: test
path: logical_deduction_five_objects/test-*
- config_name: logical_deduction_seven_objects
data_files:
- split: test
path: logical_deduction_seven_objects/test-*
- config_name: logical_deduction_three_objects
data_files:
- split: test
path: logical_deduction_three_objects/test-*
- config_name: movie_recommendation
data_files:
- split: test
path: movie_recommendation/test-*
- config_name: penguins_in_a_table
data_files:
- split: test
path: penguins_in_a_table/test-*
- config_name: reasoning_about_colored_objects
data_files:
- split: test
path: reasoning_about_colored_objects/test-*
- config_name: ruin_names
data_files:
- split: test
path: ruin_names/test-*
- config_name: salient_translation_error_detection
data_files:
- split: test
path: salient_translation_error_detection/test-*
- config_name: snarks
data_files:
- split: test
path: snarks/test-*
- config_name: temporal_sequences
data_files:
- split: test
path: temporal_sequences/test-*
- config_name: tracking_shuffled_objects_five_objects
data_files:
- split: test
path: tracking_shuffled_objects_five_objects/test-*
- config_name: tracking_shuffled_objects_seven_objects
data_files:
- split: test
path: tracking_shuffled_objects_seven_objects/test-*
- config_name: tracking_shuffled_objects_three_objects
data_files:
- split: test
path: tracking_shuffled_objects_three_objects/test-*
---

数据集信息：
- 配置名称：日期理解（date_understanding）
特征字段：
- 特征名称：question（问题），数据类型：字符串
- 特征名称：choices（候选选项集），数据类型：字符串序列
- 特征名称：answer（答案），数据类型：64位整型
数据划分：
- 划分名称：test（测试集），字节大小：52204，样本数量：250
下载大小：16911，数据集存储大小：52204
- 配置名称：消歧问答（disambiguation_qa）
特征字段：
- 特征名称：question，数据类型：字符串
- 特征名称：choices，数据类型：字符串序列
- 特征名称：answer，数据类型：64位整型
数据划分：
- 划分名称：test，字节大小：76867，样本数量：250
下载大小：14786，数据集存储大小：76867
- 配置名称：几何形状推理（geometric_shapes）
特征字段：
- 特征名称：question，数据类型：字符串
- 特征名称：choices，数据类型：字符串序列
- 特征名称：answer，数据类型：64位整型
数据划分：
- 划分名称：test，字节大小：65010，样本数量：250
下载大小：18193，数据集存储大小：65010
- 配置名称：倒装结构推理（hyperbaton）
特征字段：
- 特征名称：question，数据类型：字符串
- 特征名称：choices，数据类型：字符串序列
- 特征名称：answer，数据类型：64位整型
数据划分：
- 划分名称：test，字节大小：37074，样本数量：250
下载大小：10289，数据集存储大小：37074
- 配置名称：五物体逻辑演绎（logical_deduction_five_objects）
特征字段：
- 特征名称：question，数据类型：字符串
- 特征名称：choices，数据类型：字符串序列
- 特征名称：answer，数据类型：64位整型
数据划分：
- 划分名称：test，字节大小：146345，样本数量：250
下载大小：15985，数据集存储大小：146345
- 配置名称：七物体逻辑演绎（logical_deduction_seven_objects）
特征字段：
- 特征名称：question，数据类型：字符串
- 特征名称：choices，数据类型：字符串序列
- 特征名称：answer，数据类型：64位整型
数据划分：
- 划分名称：test，字节大小：188272，样本数量：250
下载大小：20661，数据集存储大小：188272
- 配置名称：三物体逻辑演绎（logical_deduction_three_objects）
特征字段：
- 特征名称：question，数据类型：字符串
- 特征名称：choices，数据类型：字符串序列
- 特征名称：answer，数据类型：64位整型
数据划分：
- 划分名称：test，字节大小：104081，样本数量：250
下载大小：11421，数据集存储大小：104081
- 配置名称：电影推荐（movie_recommendation）
特征字段：
- 特征名称：question，数据类型：字符串
- 特征名称：choices，数据类型：字符串序列
- 特征名称：answer，数据类型：64位整型
数据划分：
- 划分名称：test，字节大小：48769，样本数量：249
下载大小：22291，数据集存储大小：48769
- 配置名称：桌面企鹅（penguins_in_a_table）
特征字段：
- 特征名称：question，数据类型：字符串
- 特征名称：choices，数据类型：字符串序列
- 特征名称：answer，数据类型：64位整型
数据划分：
- 划分名称：test，字节大小：68749，样本数量：146
下载大小：10354，数据集存储大小：68749
- 配置名称：有色物体推理（reasoning_about_colored_objects）
特征字段：
- 特征名称：question，数据类型：字符串
- 特征名称：choices，数据类型：字符串序列
- 特征名称：answer，数据类型：64位整型
数据划分：
- 划分名称：test，字节大小：85096，样本数量：250
下载大小：18001，数据集存储大小：85096
- 配置名称：遗迹名称推理（ruin_names）
特征字段：
- 特征名称：question，数据类型：字符串
- 特征名称：choices，数据类型：字符串序列
- 特征名称：answer，数据类型：64位整型
数据划分：
- 划分名称：test，字节大小：44056，样本数量：248
下载大小：17812，数据集存储大小：44056
- 配置名称：显著翻译错误检测（salient_translation_error_detection）
特征字段：
- 特征名称：question，数据类型：字符串
- 特征名称：choices，数据类型：字符串序列
- 特征名称：answer，数据类型：64位整型
数据划分：
- 划分名称：test，字节大小：274610，样本数量：250
下载大小：54272，数据集存储大小：274610
- 配置名称：斯纳克推理（snarks）
特征字段：
- 特征名称：question，数据类型：字符串
- 特征名称：choices，数据类型：字符串序列
- 特征名称：answer，数据类型：64位整型
数据划分：
- 划分名称：test，字节大小：37156，样本数量：178
下载大小：16535，数据集存储大小：37156
- 配置名称：时间序列推理（temporal_sequences）
特征字段：
- 特征名称：question，数据类型：字符串
- 特征名称：choices，数据类型：字符串序列
- 特征名称：answer，数据类型：64位整型
数据划分：
- 划分名称：test，字节大小：137546，样本数量：250
下载大小：31087，数据集存储大小：137546
- 配置名称：五物体跟踪洗牌推理（tracking_shuffled_objects_five_objects）
特征字段：
- 特征名称：question，数据类型：字符串
- 特征名称：choices，数据类型：字符串序列
- 特征名称：answer，数据类型：64位整型
数据划分：
- 划分名称：test，字节大小：160340，样本数量：250
下载大小：32655，数据集存储大小：160340
- 配置名称：七物体跟踪洗牌推理（tracking_shuffled_objects_seven_objects）
特征字段：
- 特征名称：question，数据类型：字符串
- 特征名称：choices，数据类型：字符串序列
- 特征名称：answer，数据类型：64位整型
数据划分：
- 划分名称：test，字节大小：204524，样本数量：250
下载大小：42798，数据集存储大小：204524
- 配置名称：三物体跟踪洗牌推理（tracking_shuffled_objects_three_objects）
特征字段：
- 特征名称：question，数据类型：字符串
- 特征名称：choices，数据类型：字符串序列
- 特征名称：answer，数据类型：64位整型
数据划分：
- 划分名称：test，字节大小：120354，样本数量：250
下载大小：22387，数据集存储大小：120354
数据集配置：
- 配置名称：日期理解（date_understanding）
数据文件：
- 数据划分：test，文件路径：date_understanding/test-*
- 配置名称：消歧问答（disambiguation_qa）
数据文件：
- 数据划分：test，文件路径：disambiguation_qa/test-*
- 配置名称：几何形状推理（geometric_shapes）
数据文件：
- 数据划分：test，文件路径：geometric_shapes/test-*
- 配置名称：倒装结构推理（hyperbaton）
数据文件：
- 数据划分：test，文件路径：hyperbaton/test-*
- 配置名称：五物体逻辑演绎（logical_deduction_five_objects）
数据文件：
- 数据划分：test，文件路径：logical_deduction_five_objects/test-*
- 配置名称：七物体逻辑演绎（logical_deduction_seven_objects）
数据文件：
- 数据划分：test，文件路径：logical_deduction_seven_objects/test-*
- 配置名称：三物体逻辑演绎（logical_deduction_three_objects）
数据文件：
- 数据划分：test，文件路径：logical_deduction_three_objects/test-*
- 配置名称：电影推荐（movie_recommendation）
数据文件：
- 数据划分：test，文件路径：movie_recommendation/test-*
- 配置名称：桌面企鹅（penguins_in_a_table）
数据文件：
- 数据划分：test，文件路径：penguins_in_a_table/test-*
- 配置名称：有色物体推理（reasoning_about_colored_objects）
数据文件：
- 数据划分：test，文件路径：reasoning_about_colored_objects/test-*
- 配置名称：遗迹名称推理（ruin_names）
数据文件：
- 数据划分：test，文件路径：ruin_names/test-*
- 配置名称：显著翻译错误检测（salient_translation_error_detection）
数据文件：
- 数据划分：test，文件路径：salient_translation_error_detection/test-*
- 配置名称：斯纳克推理（snarks）
数据文件：
- 数据划分：test，文件路径：snarks/test-*
- 配置名称：时间序列推理（temporal_sequences）
数据文件：
- 数据划分：test，文件路径：temporal_sequences/test-*
- 配置名称：五物体跟踪洗牌推理（tracking_shuffled_objects_five_objects）
数据文件：
- 数据划分：test，文件路径：tracking_shuffled_objects_five_objects/test-*
- 配置名称：七物体跟踪洗牌推理（tracking_shuffled_objects_seven_objects）
数据文件：
- 数据划分：test，文件路径：tracking_shuffled_objects_seven_objects/test-*
- 配置名称：三物体跟踪洗牌推理（tracking_shuffled_objects_three_objects）
数据文件：
- 数据划分：test，文件路径：tracking_shuffled_objects_three_objects/test-*

原始信息汇总

数据集概述

数据集列表

配置名称	特征名称	数据类型	测试集大小（字节）	测试集示例数	下载大小（字节）
date_understanding	question	string	52204	250	16911
disambiguation_qa	question	string	76867	250	14786
geometric_shapes	question	string	65010	250	18193
hyperbaton	question	string	37074	250	10289
logical_deduction_five_objects	question	string	146345	250	15985
logical_deduction_seven_objects	question	string	188272	250	20661
logical_deduction_three_objects	question	string	104081	250	11421
movie_recommendation	question	string	48769	249	22291
penguins_in_a_table	question	string	68749	146	10354
reasoning_about_colored_objects	question	string	85096	250	18001
ruin_names	question	string	44056	248	17812
salient_translation_error_detection	question	string	274610	250	54272
snarks	question	string	37156	178	16535
temporal_sequences	question	string	137546	250	31087
tracking_shuffled_objects_five_objects	question	string	160340	250	32655
tracking_shuffled_objects_seven_objects	question	string	204524	250	42798
tracking_shuffled_objects_three_objects	question	string	120354	250	22387

特征描述

• question: 数据类型为字符串。
• choices: 数据类型为字符串序列。
• answer: 数据类型为int64。