kowndinya23/bbh_zero_shot

---
dataset_info:
config_name: date_understanding
features:
- name: idx
dtype: int32
- name: inputs
dtype: string
- name: targets
sequence: string
- name: multiple_choice_targets
sequence: string
- name: multiple_choice_scores
sequence: int32
splits:
- name: default
num_bytes: 94908
num_examples: 369
- name: train
num_bytes: 76165
num_examples: 296
- name: validation
num_bytes: 18743
num_examples: 73
download_size: 61477
dataset_size: 189816
configs:
- config_name: date_understanding
data_files:
- split: default
path: date_understanding/default-*
- split: train
path: date_understanding/train-*
- split: validation
path: date_understanding/validation-*
---

原始信息汇总

数据集概述

配置名称

• date_understanding

特征信息

• idx: 数据类型为 int32
• inputs: 数据类型为 string
• targets: 数据类型为 string 的序列
• multiple_choice_targets: 数据类型为 string 的序列
• multiple_choice_scores: 数据类型为 int32 的序列

数据分割

• default: 包含 369 个样本，总字节数为 94908
• train: 包含 296 个样本，总字节数为 76165
• validation: 包含 73 个样本，总字节数为 18743

数据集大小

• 下载大小: 61477 字节
• 数据集大小: 189816 字节

配置详情

• 配置名称: date_understanding
• 数据文件路径:
  • default: date_understanding/default-*
  • train: date_understanding/train-*
  • validation: date_understanding/validation-*

搜集汇总

背景与挑战

背景概述

该数据集是一个专注于日期理解任务的文本数据集，用于评估AI模型在零样本设置下的时间推理能力。它包含738个问答对，涉及基于给定日期计算其他日期（如今天、明天、昨天等），并采用多选格式提供正确答案和干扰项，以测试模型的准确性。数据集属于Big-Bench Hard（BBH）基准的一部分，旨在挑战模型的复杂推理技能。