It's the same but not the same: Do LLMs distinguish Spanish varieties?

Spanish, spoken by over 600 million people, exhibits significant lexical, morphological, and syntactic diversity. Traditional benchmarks often overlook dialectal nuances, leading to biased assessments. This benchmark addresses the gap by focusing on dialectal variation and LLM performance in handling different Spanish dialects. The Spanish Dialect Benchmark dataset evaluates the ability of LLMs to distinguish and accurately use various Spanish dialects. It addresses the challenge of dialectal bias by presenting 31 multiple-choice questions reflecting regional linguistic variations. Examples: ¿Cuál suena más natural? a. «Llegas tarde, vístete y corre». (Peninsular, Chilean Spanish) b. «Llegas tarde, vístete y córrele». (Antillean, Mexican Spanish) ¿Qué verbo usas para describir la acción de ponerse de pie? a. levantarse (Rioplatense, Peninsular Spanish) b. pararse (Antillean, Mexican Spanish)全球使用者超6亿的西班牙语，在词汇、形态与句法维度均呈现出显著多样性。传统基准测试往往忽略方言细微差异，导致评估结果存在偏倚。本基准数据集聚焦西班牙语方言差异与大语言模型（Large Language Model，LLM）对不同西班牙语方言的处理性能，以此填补这一研究空白。 西班牙语方言基准数据集（Spanish Dialect Benchmark dataset）旨在评估大语言模型区分并准确使用各类西班牙语方言的能力。该数据集通过31道体现区域语言差异的多项选择题，解决了方言偏倚带来的评估挑战。 示例： 以下哪句表达更为自然地道？ a. «Llegas tarde, vístete y corre». （半岛西班牙语、智利西班牙语） b. «Llegas tarde, vístete y córrele». （安的列斯西班牙语、墨西哥西班牙语） 以下哪个动词用于描述“站起来”这一动作？ a. levantarse （里奥普拉滕塞西班牙语、半岛西班牙语） b. pararse （安的列斯西班牙语、墨西哥西班牙语）