Mouse vs.AI:Robust Foraging Competition

Mouse vs.AI:Robust Foraging Competition是一个生物启发的视觉鲁棒性基准，旨在测试强化学习（RL）代理在真实世界条件下的视觉鲁棒性。该数据集包含在一个自然istic的3D Unity环境中训练的RL代理，以及真实小鼠在相同任务中的行为性能数据和大规模神经记录（超过19000个神经元）。数据集旨在解决视觉系统在现实世界条件下的鲁棒性问题，并推动RL、计算机视觉和神经科学的发展。

"Mouse vs. AI: Robust Foraging Competition" is a bio-inspired visual robustness benchmark developed to evaluate the visual robustness of reinforcement learning (RL) agents under real-world conditions. This dataset includes RL agents trained in a naturalistic 3D Unity environment, behavioral performance data of real mice completing the identical task, and large-scale neural recordings encompassing over 19,000 neurons. The dataset is designed to address the robustness of visual systems in real-world scenarios and advance research in reinforcement learning, computer vision, and neuroscience.

搜集汇总

数据集介绍

构建方式

该数据集通过Unity引擎构建了一个自然主义的三维虚拟觅食环境，模拟真实世界的视觉统计特性。研究团队利用头固定小鼠在浮动球装置上执行相同的视觉引导导航任务，并同步采集大规模双光子钙成像数据，覆盖初级视觉皮层及多个高级视觉区域的19,000余个神经元活动。视觉扰动条件包括雾化、动态光照等生态学合理的分布偏移，所有实验数据均通过统一的时间同步系统进行对齐。

特点

该数据集的核心特征在于其多模态生物验证框架，同时包含人工智能代理与生物体的行为性能对比及神经表征对齐评估。数据集提供五种视觉条件（正常、雾化及三种隐藏扰动）下的导航成功率指标，并配备从小鼠视觉皮层记录的高时空分辨率神经活动数据。其独特之处在于首次将强化学习智能体的分布偏移鲁棒性测试与大脑神经活动预测能力评估整合于统一的行为任务范式之中。

使用方法

使用者可通过官方提供的Starter Kit获取Unity环境、基线PPO智能体及数据加载工具。Track 1需训练智能体在正常和雾化条件下进行在线强化学习，最终在隐藏测试集上评估其跨视觉扰动的泛化能力；Track 2则要求将小鼠视觉输入序列重放至训练完成的智能体视觉编码器，通过线性读出器拟合神经活动预测模型。所有提交模型需通过容器化部署，由官方在隐藏测试集上统一计算神经对齐相关系数与行为性能指标。

背景与挑战

背景概述

2025年由加州大学圣塔芭芭拉分校跨学科团队发布的Mouse vs.AI数据集，致力于弥合生物视觉系统与人工智能在鲁棒性方面的认知鸿沟。该数据集通过构建统一的虚拟觅食任务环境，同步采集小鼠行为数据与大规模视觉皮层神经记录（覆盖19,000+神经元），旨在推动强化学习智能体在分布偏移下的泛化能力研究，并为计算神经科学提供多模态验证基准。其创新性体现在首次将生物行为绩效与神经表征对齐纳入统一评估框架，为类脑人工智能研究树立了新范式。

当前挑战

该数据集核心挑战集中于视觉鲁棒性与神经表征对齐两大维度：在领域问题层面，需解决强化学习智能体在雾化、动态光照等生态扰动下的导航泛化难题，其性能需匹配小鼠在相同任务中展现的环境适应性；在构建层面，面临多模态数据同步的技术瓶颈——包括虚拟现实与双光子显微成像的毫秒级时序对齐、跨物种行为范式标准化，以及超大规模神经数据的高保真预处理。此外，线性解码器对隐藏表征的评估需规避神经数据过拟合风险，这对评估方法的严谨性提出极高要求。

常用场景

经典使用场景

在视觉鲁棒性研究中，Mouse vs.AI数据集被广泛应用于评估强化学习代理在生态真实视觉扰动下的泛化能力。研究者利用该数据集训练代理在自然主义3D Unity环境中执行视觉引导的觅食任务，随后测试其在未见过的视觉扰动条件下的表现，如雾化、动态光照和环境杂乱等场景。这一经典使用场景不仅模拟了生物系统在复杂环境中的适应机制，还为人工代理的鲁棒性提供了标准化测试平台。

解决学术问题

该数据集解决了视觉系统在分布偏移下的泛化问题，填补了传统基准测试在主动感知-运动循环中的空白。通过结合生物行为数据与大规模神经记录，它促进了鲁棒性计算原理的探索，并推动了脑启发人工智能的发展。其意义在于为多学科交叉研究提供了统一框架，使研究者能够系统评估代理的视觉鲁棒性与神经表征对齐性，从而缩小生物与人工系统之间的性能差距。

衍生相关工作

该数据集衍生了一系列经典研究工作，例如基于传感器模态的神经编码模型扩展、结合自监督学习的多任务预测框架，以及动态环境中视觉-运动整合模型的开发。这些工作借鉴了数据集的生物基础与多模态特性，进一步探索了视觉皮层表征的可解释性、任务相关调制机制，以及分布式神经回路在行为上下文中的计算原理，推动了计算神经科学与机器学习的深度融合。