chatbotarena.se
收藏arXiv2024-05-23 更新2024-06-19 收录
下载链接：
chatbotarena.se
下载链接
链接失效反馈官方服务：
资源简介：
chatbotarena.se是由瑞典皇家理工学院创建的一个瑞典语言模型评估工具，旨在通过人类反馈来评估大型语言模型在理解和生成瑞典语文本方面的效能。该数据集采用强制选择排名方法，涉及12种不同的模型，包括GPT-4、GPT-3.5等，用于评估模型在瑞典语环境下的表现。数据集的创建过程结合了LMSYS的源代码，并针对瑞典语模型进行了适配。其应用领域主要集中在提升瑞典语环境下语言模型的性能，解决低资源语言模型应用中的性能差距问题。
chatbotarena.se is a Swedish language model evaluation tool developed by KTH Royal Institute of Technology. It aims to evaluate the performance of large language models (LLMs) in understanding and generating Swedish text via human feedback. This dataset adopts a forced-choice ranking methodology, involving 12 distinct models including GPT-4, GPT-3.5 and others, to assess model performance in Swedish-language scenarios. The creation of this dataset leverages LMSYS's source code and has been tailored for Swedish language models. Its core application focuses on enhancing the performance of language models in Swedish environments and addressing the performance gap in the deployment of low-resource language models.
提供机构：
瑞典皇家理工学院
创建时间：
2024-05-23
