skLEP
收藏资源简介：
skLEP是一个全面的斯洛伐克自然语言理解(NLU)模型评估基准，包含九项多样化的任务，涵盖了词级、句对和文档级挑战。为了构建这个基准，作者们精心挑选了专为斯洛伐克设计的新原始数据集，并仔细翻译了成熟的英语NLU资源。该论文还首次系统地评估了斯洛伐克特定、多语言和英语预训练语言模型在skLEP任务上的表现。为了促进可重复性和推动斯洛伐克NLU的未来研究，作者们发布了完整的基准数据、一个开源工具包和一个公共排行榜。
skLEP is a comprehensive Slovak natural language understanding (NLU) model evaluation benchmark, which encompasses nine diverse tasks covering word-level, sentence-pair, and document-level challenges. To construct this benchmark, the authors carefully curated new original datasets designed specifically for Slovak, and meticulously translated well-established English NLU resources. This paper also presents the first systematic evaluation of Slovak-specific, multilingual, and English pre-trained language models on the skLEP tasks. To facilitate reproducibility and advance future research on Slovak NLU, the authors have released the full benchmark dataset, an open-source toolkit, and a public leaderboard.
skLEP: 斯洛伐克通用语言理解基准
数据集概述
- 数据集名称：skLEP
- 类型：GLUE风格基准
- 用途：评估斯洛伐克自然语言理解(NLU)模型
评估任务
- 可用任务：
qa,sts,nli,rte,hate,sentiment,uner,wikigold,pos - 支持全任务运行：使用
all参数
使用方法
基本评估
- 脚本：
sklep_run.sh - 主要参数：
--tasks：指定任务列表--model_name：指定Hugging Face模型--out_dir：输出目录--wandb：Weights & Biases项目名--cuda：CUDA设备列表
参数扫描
- 支持超参数优化
- 使用
--sweep标志 - 可调参数：训练周期、学习率、预热比例、dropout等
引用信息
- 许可证：MIT License
- 论文：https://arxiv.org/abs/2506.21508
- BibTeX引用格式： bibtex @misc{suppa2025sklepslovakgenerallanguage, title={skLEP: A Slovak General Language Understanding Benchmark}, author={Marek Šuppa and Andrej Ridzik and Daniel Hládek and Tomáš Javůrek and Viktória Ondrejová and Kristína Sásiková and Martin Tamajka and Marián Šimko}, year={2025}, eprint={2506.21508}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2506.21508}, }
