BabyVision

BabyVision是一个基准测试，揭示了AI视觉的初级阶段。它提供了两个评估轨道：多模态语言模型评估和生成评估，涵盖细粒度区分、视觉跟踪、空间感知和视觉模式识别四个视觉推理类别。

BabyVision is a benchmark that reveals the early stage of AI vision. It offers two evaluation tracks: multimodal language model evaluation and generative evaluation, covering four visual reasoning categories including fine-grained discrimination, visual tracking, spatial perception, and visual pattern recognition.

原始信息汇总

BabyVision 数据集概述

数据集简介

BabyVision 是一个用于评估多模态大语言模型（MLLM）和图像生成模型在视觉推理任务上性能的基准测试数据集。该基准旨在揭示当前先进人工智能在解决幼儿能轻松完成的视觉任务方面存在的不足。

核心评估内容

数据集提供两个独立的评估轨道：

1. MLLM 评估 (babyvision_eval/): 评估多模态语言模型在视觉推理任务上的表现。
2. 生成模型评估 (babyvision_gen_eval/): 评估图像生成模型在视觉推理任务上的表现。

视觉推理任务类别

两个评估轨道均涵盖以下四个视觉推理类别：

• 细粒度辨别: 寻找不同/相同元素、阴影、图案。
• 视觉追踪: 解决迷宫、连线、地铁图。
• 空间感知: 3D视图、立方体展开、纸张折叠、积木计数。
• 视觉模式识别: 模式补全任务。

数据与文件结构

数据集仓库主要包含以下内容：

• 数据文件 (data/):
  • babyvision_data.zip: MLLM 评估数据。
  • babyvision_gen_data.zip: 生成模型评估数据。
  • mllm_results.zip: MLLM 评估结果示例。
• 评估包:
  • babyvision_eval/: 包含 MLLM 评估的主要推理脚本 (evaluate_model.py)、分数计算脚本 (compute_score.py) 及详细文档。
  • babyvision_gen_eval/: 包含生成模型评估的图像生成推理、基于LLM的评估及结果汇总脚本。

评估方法

MLLM 评估

• 输入: 包含图像的视觉推理问题。
• 输出: 模型需以 oxed{答案} 格式提供答案。
• 评判: 由LLM评判器将模型输出与标准答案进行比较。
• 指标: 整体准确率、任务类型准确率、子类型准确率。

生成模型评估

• 输入: 带有标注说明的视觉谜题。
• 输出: 标注后的图像（需用圆圈、线条、箭头等标记答案）。
• 评判: 由LLM比较生成图像与标准答案图像。
• 指标: 整体准确率，以及多轮评估的平均值和标准差。

配置与使用

评估通过环境变量进行配置，主要变量包括 MODEL_API_KEY、JUDGE_API_KEY、OPENROUTER_API_KEY、MODEL_NAME 等。具体使用流程详见各评估包内的 README.md 文档。

评分指标

两个轨道均计算以下指标：

• 整体准确率: 正确任务数 / 总任务数。
• 类型准确率: 按任务类别划分的准确率。
• 子类型准确率: 更详细的分类准确率。
• 均值与标准差: 多次评估通过的统计结果。

引用信息

若使用此基准，请引用： bibtex @article{babyvision2026, title={BabyVision: Visual Reasoning Beyond Language}, year={2026} }

许可信息

本项目发布仅供研究使用。

搜集汇总

数据集介绍

构建方式

在人工智能视觉推理领域，现有模型常面临与人类早期认知能力不匹配的挑战。BabyVision数据集的构建旨在系统评估多模态大语言模型和图像生成模型在视觉任务上的表现。该数据集通过精心设计的两条评估轨道实现：多模态语言模型评估轨道专注于视觉推理任务，涵盖细粒度辨别、视觉追踪、空间感知和视觉模式识别四大类别；图像生成评估轨道则侧重于视觉标注任务。数据收集过程整合了多样化的视觉谜题与标注指令，确保任务既反映儿童认知的直观性，又具备严格的评估标准。

特点

BabyVision数据集的核心特点在于其针对视觉推理能力的多层次评估框架。该数据集不仅覆盖了从细粒度辨别到空间感知的广泛任务类型，还引入了双轨道评估机制，允许研究者同时考察模型的推理与生成能力。其任务设计模拟了人类婴幼儿阶段的视觉认知挑战，例如迷宫求解、图案补全和三维视图理解，从而暴露出现有模型在基础视觉理解上的局限性。数据集的结构化分类与标准化输出格式，如模型答案的\boxed{Answer}封装，进一步确保了评估的一致性与可重复性。

使用方法

为有效利用BabyVision数据集，研究者需遵循其模块化的评估流程。首先，通过解压提供的压缩文件获取评估数据。对于多模态语言模型评估，需配置模型与评判器的API密钥及端点，运行专用脚本进行推理并计算准确率等指标。对于图像生成模型评估，则需执行图像生成与基于大语言模型的自动评判流程。数据集提供了完整的Shell脚本与Python工具链，支持环境变量灵活配置评估参数，如模型选择与评估轮次。最终，结果以整体准确率、类别细分准确率及统计摘要形式呈现，便于跨模型性能比较与分析。

背景与挑战

背景概述

在人工智能领域，多模态大语言模型（MLLMs）虽在语言推理方面展现出博士级别的能力，却在视觉任务上表现欠佳，甚至难以匹敌三岁儿童的认知水平。为揭示AI视觉能力的幼年状态，UniPat-AI研究团队于2026年推出了BabyVision基准数据集。该数据集聚焦于视觉推理的核心研究问题，旨在系统评估模型在细粒度辨别、视觉追踪、空间感知及视觉模式识别四大类任务上的表现。其创建不仅填补了现有评估体系在基础视觉认知方面的空白，也为推动AI向更接近人类早期视觉理解的方向发展提供了关键工具，对计算机视觉与多模态学习领域产生了深远影响。

当前挑战

BabyVision数据集致力于解决多模态模型在基础视觉推理任务上的能力缺陷，其核心挑战在于如何精确量化模型与人类幼儿在视觉认知上的差距。具体而言，所解决的领域问题涉及模型对图像中细微差异的识别、动态路径的追踪、三维空间关系的理解以及抽象模式的补全能力，这些任务对当前先进模型构成了显著挑战。在构建过程中，研究团队需克服数据标注的复杂性，确保任务既符合儿童认知发展规律，又能严格、无歧义地评估模型性能；同时，设计公平、可靠的自动化评估流程，特别是对于生成式模型的输出进行客观比较，亦是数据集构建中的关键难题。

常用场景

经典使用场景

在人工智能视觉推理领域，BabyVision数据集被广泛用于评估多模态大语言模型和图像生成模型的核心能力。该数据集通过精细设计的视觉任务，如细粒度辨别、视觉追踪、空间感知和视觉模式识别，模拟了人类婴幼儿阶段的认知挑战。研究者利用其标准化的评估流程，系统性地测试模型在无需语言辅助下的纯视觉推理性能，从而揭示当前先进模型在基础视觉理解上的局限性与潜力。

实际应用

在实际应用层面，BabyVision数据集为开发更鲁棒和通用的计算机视觉系统提供了关键的评估工具。其任务设计直接关联现实世界中的视觉理解需求，例如在自动驾驶中识别细微差异的物体、在机器人导航中规划路径、在增强现实中理解三维空间关系。通过评估模型在这些基础任务上的表现，工程师能够诊断系统弱点，进而优化模型架构与训练策略，提升AI系统在复杂真实环境中的感知与交互能力。

衍生相关工作

围绕BabyVision数据集，已衍生出一系列探索视觉推理前沿的经典研究工作。这些工作主要集中于开发新型的模型评估框架、设计无需语言先验的视觉问题求解方法，以及构建更接近人类认知发展轨迹的渐进式学习范式。该基准的建立也激励了社区对“视觉常识”和“基础物理直觉”等核心概念的建模研究，推动了多模态人工智能从语言驱动向视觉本质理解的范式转变。