tinyBenchmarks/tinyAI2_arc

tinyAI2_arc是AI2_arc挑战数据集的精简版本，包含100个数据点，旨在减少计算资源的同时保持ARC挑战评估的本质。该数据集兼容lm-eval harness，也可以集成到自定义管道中，用于评估大型语言模型的性能。

原始信息汇总

数据集概述

数据集信息

• 配置名称: ARC-Challenge
• 特征:
  • id: 字符串类型
  • question: 字符串类型
  • choices: 序列类型，包含 text（字符串类型）和 label（字符串类型）
  • answerKey: 字符串类型
  • input_formatted: 字符串类型
• 分割:
  • train: 4776965 字节，1119 个样本
  • test: 496912 字节，100 个样本
  • validation: 1281856 字节，299 个样本
• 下载大小: 1154855 字节
• 数据集大小: 6555733 字节

配置

• 配置名称: ARC-Challenge
• 数据文件:
  • train: ARC-Challenge/train-*
  • test: ARC-Challenge/test-*
  • validation: ARC-Challenge/validation-*

任务类别

• 问答

数据集名称

• tinyArc

数据集大小类别

• n<1K

多语言性

• 单语种

源数据集

• allenai/ai2_arc

任务ID

• 开放领域问答
• 多项选择问答

语言

• en-US