cavendishlabs/rebus

--- dataset_info: features: - name: Filename dtype: string - name: Solution dtype: string - name: Also accept dtype: string - name: Theme dtype: string - name: Difficulty dtype: string - name: Exact spelling? dtype: string - name: Specific reference dtype: string - name: Reading? dtype: string - name: Attribution dtype: string - name: Author dtype: string - name: image dtype: image splits: - name: train num_bytes: 51545282.0 num_examples: 333 download_size: 47656838 dataset_size: 51545282.0 configs: - config_name: default data_files: - split: train path: data/train-* --- # REBUS REBUS: A Robust Evaluation Benchmark of Understanding Symbols [**Paper**](https://arxiv.org/abs/2401.05604) | [**🤗 Dataset**](https://huggingface.co/datasets/cavendishlabs/rebus) | [**GitHub**](https://github.com/cvndsh/rebus) | [**Website**](https://cavendishlabs.org/rebus/) ## Introduction Recent advances in large language models have led to the development of multimodal LLMs (MLLMs), which take both image data and text as an input. Virtually all of these models have been announced within the past year, leading to a significant need for benchmarks evaluating the abilities of these models to reason truthfully and accurately on a diverse set of tasks. When Google announced Gemini Pro (Gemini Team et al., 2023), they displayed its ability to solve rebuses—wordplay puzzles which involve creatively adding and subtracting letters from words derived from text and images. The diversity of rebuses allows for a broad evaluation of multimodal reasoning capabilities, including image recognition, multi-step reasoning, and understanding the human creator's intent. We present REBUS: a collection of 333 hand-crafted rebuses spanning 13 diverse categories, including hand-drawn and digital images created by nine contributors. Samples are presented in the table below. Notably, GPT-4V, the most powerful model we evaluated, answered only 24% of puzzles correctly, highlighting the poor capabilities of MLLMs in new and unexpected domains to which human reasoning generalizes with comparative ease. Open-source models perform even worse, with a median accuracy below 1%. We notice that models often give faithless explanations, fail to change their minds after an initial approach doesn't work, and remain highly uncalibrated on their own abilities.  ## Evaluation results | Model | Overall | Easy | Medium | Hard | | ----------------- | ------------- | ------------- | ------------- | ------------ | | GPT-4V | **24.0** | **33.0** | **13.2** | **7.1** | | Gemini Pro | 13.2 | 19.4 | 5.3 | 3.6 | | LLaVa-1.5-13B | 1.8 | 2.6 | 0.9 | 0.0 | | LLaVa-1.5-7B | 1.5 | 2.6 | 0.0 | 0.0 | | BLIP2-FLAN-T5-XXL | 0.9 | 0.5 | 1.8 | 0.0 | | CogVLM | 0.9 | 1.6 | 0.0 | 0.0 | | QWEN | 0.9 | 1.6 | 0.0 | 0.0 | | InstructBLIP | 0.6 | 0.5 | 0.9 | 0.0 |数据集信息： 特征： - 名称：Filename（文件名），数据类型：字符串 - 名称：Solution（参考答案），数据类型：字符串 - 名称：Also accept（可接受替代答案），数据类型：字符串 - 名称：Theme（主题），数据类型：字符串 - 名称：Difficulty（难度），数据类型：字符串 - 名称：Exact spelling?（拼写是否严格匹配？），数据类型：字符串 - 名称：Specific reference（具体参考文献），数据类型：字符串 - 名称：Reading?（是否需要阅读？），数据类型：字符串 - 名称：Attribution（署名），数据类型：字符串 - 名称：Author（作者），数据类型：字符串 - 名称：image（图像），数据类型：图像 数据集划分： - 划分名称：train（训练集），字节数：51545282.0，样本数：333 下载大小：47656838 数据集总大小：51545282.0 配置： - 配置名称：default（默认配置），数据文件： - 划分：train，路径：data/train-* # REBUS：符号理解鲁棒性评估基准 [**论文**](https://arxiv.org/abs/2401.05604) | [**🤗 数据集**](https://huggingface.co/datasets/cavendishlabs/rebus) | [**GitHub**](https://github.com/cvndsh/rebus) | [**官网**](https://cavendishlabs.org/rebus/) ## 简介 近年来，大语言模型（Large Language Model, LLM）的快速发展推动了多模态大语言模型（Multimodal Large Language Model, MLLM）的问世，这类模型能够同时以图像数据与文本作为输入。几乎所有这类模型都在过去一年内发布，因此亟需能够评估这些模型在多样化任务中开展真实且准确推理的基准数据集。当谷歌发布Gemini Pro（Gemini团队等，2023）时，其展示了其解决画谜（rebus）的能力——这类文字游戏谜题需要通过创造性地对源自文本与图像的单词进行字母增删操作来求解。画谜的多样性使其能够广泛评估多模态推理能力，包括图像识别、多步推理以及对人类创作者意图的理解。 我们提出REBUS：一个包含333个手工制作的画谜的数据集，涵盖13个多样化类别，包含由9位创作者制作的手绘与数字图像。示例如下表所示。值得注意的是，我们评估的最强模型GPT-4V仅能正确解答24%的谜题，这表明多模态大语言模型在人类推理可轻松泛化的全新与未知领域中能力仍存在显著不足。开源模型的表现更差，准确率中位数低于1%。我们观察到，模型往往会给出不可靠的解释，在初始推理路径失效后无法调整思路，且对自身能力的校准度极低。  ## 评估结果 | 模型 | 总体准确率 | 简单难度 | 中等难度 | 困难难度 | | ------------------ | ---------- | -------- | -------- | -------- | | GPT-4V | **24.0** | **33.0** | **13.2** | **7.1** | | Gemini Pro | 13.2 | 19.4 | 5.3 | 3.6 | | LLaVa-1.5-13B | 1.8 | 2.6 | 0.9 | 0.0 | | LLaVa-1.5-7B | 1.5 | 2.6 | 0.0 | 0.0 | | BLIP2-FLAN-T5-XXL | 0.9 | 0.5 | 1.8 | 0.0 | | CogVLM | 0.9 | 1.6 | 0.0 | 0.0 | | QWEN | 0.9 | 1.6 | 0.0 | 0.0 | | InstructBLIP | 0.6 | 0.5 | 0.9 | 0.0 |

原始信息汇总

数据集概述

数据集信息

• 特征列表：

  • Filename：文件名，数据类型为字符串。
  • Solution：解决方案，数据类型为字符串。
  • Also accept：也接受，数据类型为字符串。
  • Theme：主题，数据类型为字符串。
  • Difficulty：难度，数据类型为字符串。
  • Exact spelling?：精确拼写？数据类型为字符串。
  • Specific reference：特定引用，数据类型为字符串。
  • Reading?：阅读？数据类型为字符串。
  • Attribution：归属，数据类型为字符串。
  • Author：作者，数据类型为字符串。
  • image：图像，数据类型为图像。

• 数据分割：

  • train：训练集，包含333个样本，总字节数为51545282.0。

• 数据集大小：

  • 下载大小：47656838字节
  • 数据集大小：51545282.0字节

• 配置：

  • default：默认配置，数据文件路径为data/train-*。

评估结果

模型	总体	简单	中等	困难
GPT-4V	24.0	33.0	13.2	7.1
Gemini Pro	13.2	19.4	5.3	3.6
LLaVa-1.5-13B	1.8	2.6	0.9	0.0
LLaVa-1.5-7B	1.5	2.6	0.0	0.0
BLIP2-FLAN-T5-XXL	0.9	0.5	1.8	0.0
CogVLM	0.9	1.6	0.0	0.0
QWEN	0.9	1.6	0.0	0.0
InstructBLIP	0.6	0.5	0.9	0.0

搜集汇总

数据集介绍

构建方式

REBUS数据集由九位贡献者手工精心制作，共计333个谜题，覆盖13个多样化类别，包括手绘与数字图像。每个样本包含文件名、解答、可接受答案、主题、难度等级、拼写精确性、特定参考、阅读要求、归属及作者等丰富字段，并以图像形式呈现。数据集划分为单一训练集，确保样本的完整性与一致性。

特点

该数据集旨在评估多模态大语言模型（MLLMs）的符号理解与推理能力，涵盖图像识别、多步推理及人类意图理解等维度。其独特之处在于谜题的高度多样性与创造性，测试结果显示顶尖模型GPT-4V仅答对24%，开源模型准确率中位数低于1%，凸显了现有模型在应对新颖复杂任务时的脆弱性，以及人类推理的显著优势。

使用方法

研究者可直接从HuggingFace加载数据集，利用提供的图像与文本字段进行模型评估。典型使用方式包括将谜题图像与问题输入MLLMs，依据标准答案评判模型输出，并分析其解释的合理性。数据集按难度分级（简单、中等、困难），便于进行分层性能分析，同时可结合论文中的评估协议复现基准结果。

背景与挑战

背景概述

在大型语言模型与多模态模型迅猛发展的时代，评估模型在复杂视觉与语言推理任务上的表现成为关键议题。REBUS数据集由Cavendish Labs于2024年发布，旨在构建一个鲁棒的符号理解评估基准。该数据集包含333个手工制作的画谜（rebus），涵盖13个主题类别，由九位贡献者共同创作，涉及手绘与数字图像。核心研究问题在于检验多模态大语言模型（MLLMs）在需要图像识别、多步推理及理解人类创作意图的谜题上的推理能力。REBUS的出现填补了现有基准在评估模型处理非传统、创意性推理任务上的空白，揭示了当前最先进模型如GPT-4V仅能正确回答24%谜题的显著局限，对推动多模态推理研究具有重要影响力。

当前挑战

REBUS数据集面临的核心挑战在于多模态模型在符号理解与创意推理领域的显著不足。首先，所解决的领域问题涉及图像识别与文本推理的深度融合，模型需从视觉元素中提取文字并执行加减字母等操作，这对现有模型的视觉-语言对齐能力构成严峻考验。其次，构建过程中遇到的挑战包括确保谜题的多样性、难度分级（易、中、难）的合理性，以及避免数据泄露，因为谜题解决方案可能隐含常见文化知识。此外，模型常产生不合理的解释，难以在初始推理失败后调整策略，且对自身能力缺乏校准，这些缺陷在开放源码模型中尤为突出，中位准确率低于1%，凸显了多模态推理泛化能力的鸿沟。

常用场景

经典使用场景

REBUS数据集的核心应用在于评估多模态大语言模型（MLLMs）在视觉与语言交织的复杂推理任务中的表现。该数据集通过333个精心设计的字谜图案，涵盖13种不同主题，要求模型在识别图像元素的基础上，进行多步骤的符号操作与语义组合，最终推导出隐含的词语或短语。这一经典使用场景不仅检验了模型的图像识别能力，更深入考察了其逻辑推理、创造性思维以及对人机交互中隐含意图的理解水平。

实际应用

在实际应用中，REBUS数据集为多模态AI系统的可靠性测试提供了严苛的试金石。例如，在智能教育辅导、创意内容生成、人机协作解谜游戏等场景中，模型需要具备超越简单模式匹配的深层语义理解能力。通过REBUS的评估，开发者可以诊断模型在处理模糊线索、多步推理及修正初始错误时的缺陷，进而优化模型在真实世界复杂交互环境中的表现，如辅助视觉障碍人士理解图文信息、或提升数字助手在创意对话中的灵活性。

衍生相关工作

REBUS数据集的发布催生了一系列后续研究，包括对模型解释性能力的深入分析——如探究GPT-4V在给出错误答案时为何产生看似合理但实则不忠实的解释。此外，该基准推动了针对MLLMs自我修正机制的研究，即模型在初始推理路径失效后是否能够主动调整策略。相关工作还扩展到跨模态迁移学习领域，尝试利用字谜任务训练模型更鲁棒的多步推理能力，并衍生出针对视觉语言模型校准度的评估框架，为构建更具人类常识的AI系统奠定了方法论基础。