swap-uniba/bbh_ita

BBH数据集专注于23个具有挑战性的BIG-Bench任务，这些任务被称为BIG-Bench Hard (BBH)。这些任务在之前的语言模型评估中未能超越人类评分者的平均表现。研究发现，应用链式思维（CoT）提示到BBH任务中，使得PaLM在23个任务中的10个任务上超越了人类评分者的平均表现，Codex (code-davinci-002)在23个任务中的17个任务上超越了人类评分者的平均表现。由于BBH中的许多任务需要多步推理，因此在BIG-Bench评估中进行的无CoT的少样本提示大大低估了语言模型的最佳性能和能力，这些能力通过CoT提示更好地体现出来。

原始信息汇总

数据集概述

数据集配置

boolean_expressions

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 11790
    • num_examples: 250
• 下载大小: 17172
• 数据集大小: 11790

causal_judgement

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 198021
    • num_examples: 187
• 下载大小: 202943
• 数据集大小: 198021

date_understanding

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 54666
    • num_examples: 250
• 下载大小: 61760
• 数据集大小: 54666

disambiguation_qa

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 78620
    • num_examples: 250
• 下载大小: 85255
• 数据集大小: 78620

dyck_languages

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 38432
    • num_examples: 250
• 下载大小: 43814
• 数据集大小: 38432

formal_fallacies

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 138224
    • num_examples: 250
• 下载大小: 145562
• 数据集大小: 138224

geometric_shapes

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 68560
    • num_examples: 250
• 下载大小: 77242
• 数据集大小: 68560

hyperbaton

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 38574
    • num_examples: 250
• 下载大小: 44706
• 数据集大小: 38574

logical_deduction_five_objects

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 148595
    • num_examples: 250
• 下载大小: 155477
• 数据集大小: 148595

logical_deduction_seven_objects

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 191022
    • num_examples: 250
• 下载大小: 198404
• 数据集大小: 191022

logical_deduction_three_objects

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 105831
    • num_examples: 250
• 下载大小: 112213
• 数据集大小: 105831

movie_recommendation

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 50985
    • num_examples: 250
• 下载大小: 57684
• 数据集大小: 50985

multistep_arithmetic_two

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 12943
    • num_examples: 250
• 下载大小: 18325
• 数据集大小: 12943

navigate

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 49031
    • num_examples: 250
• 下载大小: 55163
• 数据集大小: 49031

object_counting

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 30508
    • num_examples: 250
• 下载大小: 35890
• 数据集大小: 30508

penguins_in_a_table

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 70062
    • num_examples: 146
• 下载大小: 74516
• 数据集大小: 70062

reasoning_about_colored_objects

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 89579
    • num_examples: 250
• 下载大小: 98694
• 数据集大小: 89579

ruin_names

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 46537
    • num_examples: 250
• 下载大小: 53178
• 数据集大小: 46537

salient_translation_error_detection

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 277110
    • num_examples: 250
• 下载大小: 286443
• 数据集大小: 277110

snarks

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 38223
    • num_examples: 178
• 下载大小: 42646
• 数据集大小: 38223

sports_understanding

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 22723
    • num_examples: 250
• 下载大小: 28617
• 数据集大小: 22723

temporal_sequences

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 139546
    • num_examples: 250
• 下载大小: 148176
• 数据集大小: 139546

tracking_shuffled_objects_five_objects

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 162590
    • num_examples: 250
• 下载大小: 169722
• 数据集大小: 162590

tracking_shuffled_objects_seven_objects

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 207274
    • num_examples: 250
• 下载大小: 214906
• 数据集大小: 207274

tracking_shuffled_objects_three_objects

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 122104
    • num_examples: 250
• 下载大小: 128736
• 数据集大小: 122104

web_of_lies

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 47582
    • num_examples: 250
• 下载大小: 52964
• 数据集大小: 47582

word_sorting

• 特征:
  • input: string
  • target: string
• 分割:
  • test:
    • num_bytes: 60918
    • num_examples: 250
• 下载大小: 66300
• 数据集大小: 60918