swap-uniba/arc_challenge_ita

Arc-c数据集的意大利语版本，包含7,787个科学考试问题，这些问题来自多种来源，主要用于问答和文本生成任务。数据集分为挑战集（2,590个难题）和简单集（5,197个问题），每个问题通常有四个多选答案选项。

原始信息汇总

数据集概述

基本信息

• 任务类别: 问答, 文本生成
• 语言: 意大利语
• 标签: llm, 评估, llamantino, 意大利语
• 名称: Arc-c dataset Italian Version
• 大小类别: 1K<n<10K

数据集描述

• 内容: 该数据集包含7,787个科学考试问题，来源于多个渠道，包括与AI2相关的研究合作伙伴提供的科学问题。这些问题是纯文本的英语考试问题，涵盖多个年级水平。每个问题具有多项选择结构（通常有4个答案选项）。
• 分类: 问题分为挑战集（2,590个“难题”）和简单集（5,197个问题）。

引用信息

@misc{basile2023llamantino, title={LLaMAntino: LLaMA 2 Models for Effective Text Generation in Italian Language}, author={Pierpaolo Basile and Elio Musacchio and Marco Polignano and Lucia Siciliani and Giuseppe Fiameni and Giovanni Semeraro}, year={2023}, eprint={2312.09993}, archivePrefix={arXiv}, primaryClass={cs.CL} }

@article{Clark2018ThinkYH, title={Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge}, author={Peter Clark and Isaac Cowhey and Oren Etzioni and Tushar Khot and Ashish Sabharwal and Carissa Schoenick and Oyvind Tafjord}, journal={ArXiv}, year={2018}, volume={abs/1803.05457} }

搜集汇总

背景与挑战

背景概述

该数据集是ARC挑战数据集的意大利语自动翻译版本，用于评估意大利语语言模型在科学问答任务上的性能。数据集包含多项选择题，规模较小（3行数据），格式为json，适用于问答和文本生成等任务，与LLaMAntino研究项目相关联。