Japanese Heron-Bench是一个专为评估日语视觉语言模型(VLMs)设计的基准数据集。该数据集由图灵公司创建,包含102个独特的图像-问题-答案对,这些内容均针对日本文化背景定制。数据集的创建过程涉及收集与日本相关的公共领域或CC BY 2.0许可的图像,并为每个图像设置三个类别:对话、细节和复杂,每个类别包含一到两个问题。数据集的应用领域主要在于评估VLMs在理解和回答日语环境下的
This dataset contains 3.3K expert-level pairwise human preferences for model responses generated by 6 models in response to 80 MT-bench questions. The 6 models are GPT-4, GPT-3.5, Claud-v1, Vicuna-13B