ClimaQA_SLO - Slovenian Climate Question-Answering Benchmark

Slovenian Climate Question-Answering Benchmark (ClimaQA_SLO) for fact-checking LLMs with domain-specific knowledge related to Slovenian topics connected to the environment such as climate change, energy, and forestry. Tested LLMs: GPT-4o, GPT-4o_WEB, GPT-3.5-turbo, GPT-o3, GPT-o3_WEB Metrics: accuracy, F score (SimpleQA-based) Language: Slovenian斯洛文尼亚气候问答基准数据集（ClimaQA_SLO），用于针对与斯洛文尼亚环境相关的特定领域知识（如气候变化、能源与林业），对大语言模型（LLM）开展事实核查任务。本次测试所采用的大语言模型包括：GPT-4o、GPT-4o_WEB、GPT-3.5-turbo、GPT-o3、GPT-o3_WEB。评估指标涵盖准确率（accuracy）与基于SimpleQA的F分数。数据集使用斯洛文尼亚语编写。