banglish_bench

BanglishBench 是首个用于评估 Banglish（拉丁字母书写的孟加拉语）语言模型的标准化评测基准。该数据集包含 450 个手工制作的提示，覆盖 9 个评估类别，包括日常对话、情感理解、安全性、语言合规性、话题多样性、边缘案例、代码切换、情感分析和正式程度判断。数据集采用自动化评分系统，支持本地优先评估，无需云端 API 或 GPU。

数据集结构包含每个提示的唯一 ID、类别、评分方法、提示内容、参考回答（多数为空）和预期分类标签（仅适用于情感和正式程度类别）。评估方法包括启发式检查、二元拒绝和分类验证。

该数据集填补了现有孟加拉语评测基准（如 BLUB/BangLUE）仅测试正式孟加拉语（Unicode 书写）的空白，专注于数字空间中数百万用户实际使用的 Banglish 变体。数据集由专家人工创建，不包含个人或敏感信息，采用 Apache-2.0 许可协议发布。