RekaAI/VibeEval

Vibe-Eval是一个用于评估多模态聊天模型的基准数据集，特别包含具有挑战性的示例。每个示例包含以下字段：example_id（唯一标识符）、category（类别，分为difficulty-normal和difficulty-hard）、prompt（用户提示）、reference（提示的黄金参考答案）、image（图像结构，包含bytes和path键）、media_filename（文件名）、media_url（文件公开托管的URL）。数据集分为测试集，包含269个示例，总大小为212934461字节。数据集支持的任务类别包括图像到文本和图像分类，语言包括英语、波兰语、中文和日语。

原始信息汇总

数据集概述

数据集名称

• Vibe-Eval

数据集特征

• image: 图像数据类型
• prompt: 字符串数据类型
• reference: 字符串数据类型
• example_id: 字符串数据类型
• category: 字符串数据类型
• media_url: 字符串数据类型

数据集分割

• test: 包含269个示例，总大小为212,934,461字节

数据集大小

• 下载大小: 5,175,222字节
• 总大小: 212,934,461字节

配置

• default: 包含测试分割数据文件 vibe-eval.v1.parquet

许可

• apache-2.0

任务类别

• image-to-text
• image-classification

语言

• en
• pl
• zh
• ja

大小类别

• n<1K

标签

• Reka
• Vibe
• Eval
• VibeEval
• Vibe-Eval
• Hard

数据集内容

• example_id: 唯一标识符
• category: 类别，包括 difficulty-normal 或 difficulty-hard
• prompt: 用户提示
• reference: 参考答案
• image: 包含 bytes 和 path 键的图像结构
• media_url: 公开托管文件的URL

数据集用途

• 用于评估多模态聊天模型的基准，特别包含挑战性示例。