visheratin/realworldqa

该数据集由xAI发布，旨在评估多模态模型的基本现实空间理解能力。尽管数据集中的示例对人类来说相对简单，但它们对前沿模型构成了挑战。

### 数据集信息
特征：
- 字段名：question（问题），数据类型：字符串
- 字段名：answer（答案），数据类型：字符串
- 字段名：image（图像），数据类型：图像类型
数据划分：
- 划分名称：test（测试集），字节大小：678377348，样本数量：765
下载大小：678335644
数据集总大小：678377348
配置项：
- 配置名称：default（默认配置），数据文件：
- 对应划分：test（测试集），文件路径：data/test-*
任务类别：
- visual-question-answering（视觉问答，Visual Question Answering）
语言：
- en（英语）
展示名称：RealWorldQA

# RealWorldQA 数据集
该基准数据集由xAI随Grok-1.5 Vision[官方公告](https://x.ai/blog/grok-1.5v)同步发布。
本基准测试旨在评估多模态模型（multimodal models）的基础真实世界空间理解能力。
尽管当前基准测试中的多数示例对人类而言难度较低，但它们往往会给前沿模型带来挑战。
本次发布的RealWorldQA数据集共包含765张图像，每张图像均配有对应问题与易于验证的答案。
该数据集涵盖从车载视角采集的匿名图像，以及其他真实场景图像。

## 许可证
CC BY-ND 4.0（知识共享署名-禁止演绎4.0国际许可协议）

原始信息汇总

数据集概述

数据集名称

xAI Grok-1.5 Vision Benchmark Dataset

发布机构

xAI

数据集目的

评估多模态模型在现实世界空间理解能力的基本表现。

数据集特点

• 尽管当前基准中的许多示例对人类来说相对容易，但它们通常对前沿模型构成挑战。