HiTZ/EusReading

EusReading数据集包含352个阅读理解练习，这些练习来源于1998年至2008年的EGA考试。每个测试通常包含10个多项选择题，有4个选项和一个正确答案。这些练习比Belebele更具挑战性，因为输入文本的复杂性和长度。数据集由HiTZ研究中心和IXA研究小组（巴斯克大学UPV/EHU）策划，主要用于衡量模型对长上下文的理解能力。

原始信息汇总

数据集卡片 EusReading

概述

EusReading 包含 352 个阅读理解练习（irakurmena），这些练习来自 1998 年至 2008 年的 EGA 考试。每个测试通常有 10 个多项选择题，每个问题有 4 个选项和一个正确答案。这些练习比 Belebele 更具挑战性，因为输入文本的复杂性和长度。因此，EusReading 对于衡量模型的长上下文理解能力非常有用。

详细信息

• 任务类别： 问答
• 语言： 巴斯克语（eu）
• 数据集大小： n<1K
• 配置：
  • 默认配置：
    • 测试集路径： irakurmena.jsonl

示例

巴斯克语示例

txt Pasartea: Ernest Hemingway, berak jakin barik, azkenekoz etorri da Bilbora, eta oro har, Penintsulara. Eta hori tamala, hilak 24 dituelarik Bilbon zezenak Ordoñez bere kutunari adarkada ederra sartu dio. Ez da ezer izan, zorionez. Biharamuneko El Correo Español egunkarian emandako argazkian ikusten den legez, idazleak bisita egin dion unean, toreatzailea hortxe dago, ondo bizirik, ohean. [...]

Galdera: 1960ko abuztuaren 24an A. El Correo Español-eko C. Barrenarekin batera agertzen den Ordoñez toreatzailea harrapatu zuen zezen batek. B. Ernest Hemingwayk Bilboko plazan adarkada jaso zuen Ordoñez toreatzaileari bisita egin zion. C. El Correo-ko argazkian, zezen batek Ordoñez toreatzailea harrapatzen du. D. Ernest Hemingway lehenengo eta azkeneko aldiz iritsi zen Bilbora.

Erantzuna: B

英语翻译

txt Passage: Ernest Hemingway, without his knowledge, came for the last time to Bilbao, and in general to the Peninsula. And indeed, on the 24th, at Bilbao, the bull gave his favourite Ordóñez a good goring. It was nothing, luckily. As can be seen from the photograph published in El Correo Español the next day, the bullfighter is there, alive, in bed, the moment the writer visits him. [...]

Question: On August 24, 1960 A. The bullfighter Ordóñez, who appears next to C. Barrena of El Correo Español, was caught by a bull. B. Ernest Hemingway visited the bullfighter Ordóñez, who had received a goring in the square of Bilbao. C. In the photo of El Correo, a bull catches the bullfighter Ordóñez. D. Ernest Hemingway arrived in Bilbao for the first and last time.

Answer: B

引用

bibtex @misc{etxaniz2024latxa, title={{L}atxa: An Open Language Model and Evaluation Suite for {B}asque}, author={Julen Etxaniz and Oscar Sainz and Naiara Perez and Itziar Aldabe and German Rigau and Eneko Agirre and Aitor Ormazabal and Mikel Artetxe and Aitor Soroa}, year={2024}, eprint={2403.20266}, archivePrefix={arXiv}, primaryClass={cs.CL} }