isobench/IsoBench

IsoBench是一个多模态基准数据集，包含数学、科学、算法和游戏四大领域的题目。每个示例通过视觉、文本和数学等多种同构表示形式呈现。该数据集支持文本分类、零样本分类和图像分类等任务，旨在分析仅基于语言和多模态基础模型在处理不同模态输入时的行为差异。

原始信息汇总

数据集概述

数据集名称: IsoBench

许可: CC-BY-SA-4.0

语言: 英语

大小类别: 1K<n<10K

任务类别:

• 文本分类
• 零样本分类
• 图像分类

数据集配置详情

配置: chemistry

• 特征:
  • image: 图像
  • question: 字符串
  • choices: 字符串
  • label: 整数64位
  • description: 字符串
  • id: 字符串
• 分割:
  • validation: 75个样本, 2611154字节
  • 下载大小: 2517594字节
  • 数据集大小: 2611154字节

配置: graph_connectivity

• 特征:
  • image: 图像
  • query_nodes_color: 字符串
  • adjacency_matrix: 字符串
  • query_node_1: 整数64位
  • query_node_2: 整数64位
  • label: 布尔
  • id: 字符串
• 分割:
  • validation: 128个样本, 62682553字节
  • 下载大小: 19391513字节
  • 数据集大小: 62682553字节

配置: graph_isomorphism

• 特征:
  • image: 图像
  • adjacency_matrix_G: 字符串
  • adjacency_matrix_H: 字符串
  • label: 布尔
  • id: 字符串
• 分割:
  • validation: 128个样本, 25082487字节
  • 下载大小: 8931620字节
  • 数据集大小: 25082487字节

配置: graph_maxflow

• 特征:
  • image: 图像
  • source_node: 整数64位
  • source_node_color: 字符串
  • sink_node: 整数64位
  • sink_node_color: 字符串
  • adjacency_matrix: 字符串
  • label: 整数64位
  • id: 字符串
• 分割:
  • validation: 128个样本, 44530168字节
  • 下载大小: 16112025字节
  • 数据集大小: 44530168字节

配置: math_breakpoint

• 特征:
  • image: 图像
  • domain: 浮点64位
  • latex: 字符串
  • code: 字符串
  • label: 整数64位
  • id: 字符串
• 分割:
  • validation: 256个样本, 14120119字节
  • 下载大小: 12531449字节
  • 数据集大小: 14120119字节

配置: math_convexity

• 特征:
  • image: 图像
  • domain: 字符串
  • latex: 字符串
  • code: 字符串
  • label: 字符串
  • id: 字符串
• 分割:
  • validation: 256个样本, 11176740字节
  • 下载大小: 9253917字节
  • 数据集大小: 11176740字节

配置: math_parity

• 特征:
  • image: 图像
  • domain: 浮点64位
  • latex: 字符串
  • code: 字符串
  • label: 字符串
  • id: 字符串
• 分割:
  • validation: 384个样本, 17012598字节
  • 下载大小: 14230745字节
  • 数据集大小: 17012598字节

配置: physics

• 特征:
  • image: 图像
  • question: 字符串
  • choices: 字符串
  • label: 整数64位
  • description: 字符串
  • id: 字符串
• 分割:
  • validation: 75个样本, 2354556字节
  • 下载大小: 2156044字节
  • 数据集大小: 2354556字节

配置: puzzle

• 特征:
  • image: 图像
  • anl: 字符串
  • pgn: 字符串
  • fen: 字符串
  • label: 字符串
  • id: 字符串
• 分割:
  • validation: 200个样本, 5192310字节
  • 下载大小: 4856203字节
  • 数据集大小: 5192310字节

配置: winner_id

• 特征:
  • image: 图像
  • anl: 字符串
  • pgn: 字符串
  • fen: 字符串
  • label: 字符串
  • id: 字符串
• 分割:
  • validation: 257个样本, 6486731字节
  • 下载大小: 6026970字节
  • 数据集大小: 6486731字节