Open-LLM-Leaderboard
收藏arXiv2024-06-12 更新2024-06-21 收录
下载链接：
https://github.com/VILA-Lab/Open-LLM-Leaderboard
下载链接
链接失效反馈官方服务：
资源简介：
Open-LLM-Leaderboard是由穆罕默德·本·扎耶德人工智能大学VILA实验室创建的一个用于评估大型语言模型（LLMs）的新型数据集。该数据集专注于通过开放式问题来评估模型，旨在消除选择偏差和随机猜测问题。数据集通过自动化的粗到细筛选协议和多阶段过滤过程来生成适合开放式回答的问题，并利用GPT-4进行问题筛选和评分。该数据集的应用领域主要集中在LLMs的性能评估和排名，以解决现有评估方法中的偏差和随机性问题。
提供机构：
穆罕默德·本·扎耶德人工智能大学VILA实验室
创建时间：
2024-06-12
