automated-research-group/llama2_7b_chat-arc_challenge-results

--- dataset_info: config_name: '{''do_sample''=False, ''beams''=1}' features: - name: id dtype: string - name: prediction dtype: string - name: arc_challenge_accuracy dtype: bool splits: - name: train num_bytes: 77311 num_examples: 299 download_size: 43636 dataset_size: 77311 configs: - config_name: '{''do_sample''=False, ''beams''=1}' data_files: - split: train path: '{''do_sample''=False, ''beams''=1}/train-*' ---数据集信息： 配置名称：{'do_sample'=False, 'beams'=1} 特征： - 字段名：样本标识符（id），数据类型：字符串 - 字段名：预测结果（prediction），数据类型：字符串 - 字段名：ARC Challenge准确率（arc_challenge_accuracy），数据类型：布尔型 数据集划分： - 划分名称：训练集（train），字节数：77311，样本数量：299 下载大小：43636 字节 数据集总大小：77311 字节 配置项： - 配置名称：{'do_sample'=False, 'beams'=1} 数据文件： - 划分：训练集（train），路径：{'do_sample'=False, 'beams'=1}/train-*

原始信息汇总

数据集信息

配置名称

• {do_sample=False, beams=1}

特征

• id: 数据类型为 string
• prediction: 数据类型为 string
• arc_challenge_accuracy: 数据类型为 bool

数据分割

• train: 包含 299 个样本，占用 77311 字节

数据大小

• 下载大小: 43636 字节
• 数据集大小: 77311 字节

配置详情

• 配置名称: {do_sample=False, beams=1}
• 数据文件:
  • 分割: train
  • 路径: {do_sample=False, beams=1}/train-*

搜集汇总

背景与挑战

背景概述

该数据集记录了Llama2 7B Chat模型在ARC（AI2 Reasoning Challenge）挑战赛上的评估结果，包含299条数据，每条数据包括问题ID、模型预测答案以及准确性布尔值。数据集主要用于分析和评估模型在科学推理任务上的性能表现，格式为parquet，体积小巧便于使用。