gonzmart/teleia

该数据集包含用于评估西班牙语大型语言模型（LLMs）的测试问题。数据集分为三种类型：基于Cervantes AVE考试的词汇和语法结构测试问题，基于PCE考试的形态学和语义学测试问题，以及基于SIELE考试的阅读理解测试问题。每种类型的问题都有特定的格式和结构，例如填空题和阅读理解题。数据集的文件格式为CSV，包含训练集和测试集。

The TELEIA dataset is a benchmark for evaluating artificial intelligence models in Spanish, containing test questions that mimic the formats of the Cervantes AVE, PCE, and SIELE exams, covering vocabulary, grammar, morphology, semantics, and reading comprehension.

原始信息汇总

数据集概述

基本信息

• 许可证: CC BY 4.0
• 任务类别: 多选题
• 语言: 西班牙语
• 标签: 西班牙语
• 数据集大小: n<1K

配置文件

• cervantes_ave:
  • 训练集: cervantes_ave/train_teleia_cervantes_ave.csv
  • 测试集: cervantes_ave/test_teleia_cervantes_ave.csv
• pce:
  • 训练集: pce/train_teleia_pce.csv
  • 测试集: pce/test_teleia_pce.csv
• siele:
  • 训练集: siele/train_teleia_siele.csv
  • 测试集: siele/test_teleia_siele.csv

数据集描述

• TELEIA_Cervantes_AVE.xlsx: 包含词汇和语法结构的测试题，格式类似于Cervantes AVE考试。包含以下列：

  • question: 带有空格的句子
  • option_a, option_b, option_c, option_d: 空格的不同选项
  • correct_answer: 正确答案（A, B, C 或 D）

• TELEIA_PCE.xlsx: 包含形态学和语义学的测试题，风格类似于PCE考试。包含以下列：

  • question: 简短的问题或句子
  • option_a, option_b, option_c: 不同选项
  • correct_answer: 正确答案（A, B 或 C）

• TELEIA_SIELE.xlsx: 包含与SIELE考试阅读理解任务相关的文本和问题。包含以下列：

  • question: 问题
  • option_a, option_b, option_c: 不同选项
  • correct_answer: 正确答案（A, B 或 C）

引用

@dataset{spanish_benchmark_teleia, author = {Marina-Ruiz, M. and Molinero, Nina and Martín-Gascón, Elena and Galar, Miguel and Fernández, Raquel and Camarero, Javier and Rodríguez, Pedro}, title = {{Spanish Language Benchmark for Artificial Intelligence Models (TELEIA)}}, month = jan, year = 2024, publisher = {Zenodo}, version = {1.0}, doi = {10.5281/zenodo.12571763}, url = {https://doi.org/10.5281/zenodo.12571763} }