SEACrowd/sea_bench

Sea-bench是一个多语言基准测试集，用于评估助手式模型，涵盖了8种东南亚语言。数据集由母语语言学家注释，数据来源包括手动翻译的开源英语测试集、从本地论坛和网站收集的真实用户问题、从可靠来源收集的真实数学和推理问题，以及语言学家自己编写的测试指令和问题。每个任务包含20个问题，涉及3种语言的5个任务和其他5种语言的4个任务。