MABe22

MABe22是一个大规模的多代理视频和轨迹基准，用于评估学习行为表示的质量。该数据集来自多种生物学实验，包括相互作用的鼠标三元组（470万帧视频+姿态跟踪数据，1000万帧仅姿态），共生甲虫-蚂蚁相互作用（1000万帧视频数据），以及相互作用的苍蝇群（440万帧姿态跟踪数据）。

MABe22 is a large-scale multi-agent video and trajectory benchmark for evaluating the quality of learned behavioral representations. This dataset is derived from multiple biological experiments, including interacting mouse trios (4.7 million frames of video paired with pose tracking data, plus 10 million frames of pose-only data), symbiotic beetle-ant interactions (10 million frames of video data), and interacting fly swarms (4.4 million frames of pose tracking data).

搜集汇总

数据集介绍

构建方式

在行为表征学习领域，MABe22数据集的构建体现了跨物种实验数据的系统性整合。该数据集源自真实的生物学实验，涵盖小鼠、甲虫和果蝇三种模式生物的多智能体交互行为。构建过程首先从长期连续记录中提取视频片段，其中小鼠数据包含470万帧视频与姿态追踪数据，甲虫数据为1000万帧视频，果蝇数据则为440万帧姿态轨迹数据。数据经过统一的后处理流程，包括关键点追踪、身份识别以及时间序列分割，最终形成标准化的视频与轨迹序列。为确保数据质量，研究团队采用自动化筛选与人工校验相结合的方式，剔除追踪误差较大的片段，并针对行为标注任务开发了专用的脚本工具与人工标注流程。

特点

MABe22数据集的核心特点在于其多物种、多任务的评估框架。该数据集不仅提供大规模的视频与轨迹数据，更设计了72项下游分析任务，涵盖实验条件分类与专家标注行为识别两大范畴。这些任务源自真实的科学实验需求，例如通过行为推断小鼠的品系、光照周期或果蝇的神经元激活状态，从而为表征学习模型提供客观的性能评估标准。与常见的人类行为数据集不同，MABe22中的视频背景均一且信息稀疏，迫使模型必须依赖时空动态特征而非静态视觉线索来区分行为。此外，数据集包含丰富的模态信息，既有原始视频帧，也有高精度的姿态关键点，支持从视觉与轨迹两个维度进行表征学习研究。

使用方法

使用MABe22数据集时，通常遵循表征学习与线性评估相结合的标准流程。首先，利用数据集的训练集部分，通过自监督或非监督方法学习行为表征，将每帧视频或轨迹映射为固定维度的嵌入向量。随后，在评估阶段，这些学习到的表征被输入至简单的线性模型（如岭回归分类器），以预测各项隐藏的下游任务标签，包括实验条件分类与行为检测。评估指标根据任务类型采用F1分数（分类）或均方误差（回归），并在独立的测试集上计算性能。数据集的官方划分包含用户训练集、评估训练集和两个测试集，确保了模型比较的公平性与可复现性。研究社区还可通过公开挑战平台提交学习方法，进一步推动跨物种行为表征学习算法的发展。

背景与挑战

背景概述

MABe22数据集于2023年由加州理工学院、西北大学等多家研究机构联合推出，旨在为多智能体行为表征学习提供大规模、多物种的基准测试平台。该数据集聚焦于生物学实验中的动物交互行为，涵盖小鼠、甲虫和果蝇三种物种，整合了视频与轨迹数据，并设计了基于实验条件与专家标注行为的多样化下游分析任务。其核心研究问题在于评估无监督或自监督学习方法在跨物种行为表征中的泛化能力与有效性，以推动计算行为学与神经科学领域的交叉研究。该数据集的创建标志着行为表征评估从单一物种、人工标注任务向多物种、科学驱动任务的范式转变，为行为分析算法的标准化比较提供了重要基础。

当前挑战

MABe22数据集面临的挑战主要体现在两个方面：其一，在领域问题层面，该数据集旨在解决跨物种行为表征学习的评估难题，但动物行为具有高度动态性与物种特异性，如何设计统一且具有生物学意义的评估指标以准确衡量表征质量成为核心挑战；其二，在构建过程中，数据采集涉及多物种、多实验条件的复杂协调，需确保视频与轨迹数据在标准化背景下的一致性，同时避免因人工标注主观性带来的偏差。此外，数据集的规模与多样性要求对计算资源与存储管理提出了较高要求，且需平衡数据隐私与开源共享之间的伦理考量。

常用场景

经典使用场景

在计算行为学领域，MABe22数据集作为首个多物种多任务基准，为评估无监督或自监督学习的行为表征质量提供了标准化平台。该数据集整合了小鼠、甲虫和果蝇三种模式生物的视频与轨迹数据，并设计了涵盖实验条件分类与专家标注行为的72项下游任务，使得研究者能够系统性地比较不同表征学习方法在跨物种行为分析中的泛化能力与信息保留程度。

解决学术问题

MABe22数据集有效应对了行为表征学习领域的两大核心挑战：一是缺乏覆盖多物种、多实验条件的统一评估基准，避免了模型在单一数据集统计特性上的过拟合；二是解决了无监督学习中表征质量难以量化评估的问题，通过引入基于科学实验的下游任务（如动物品系、光周期、光遗传刺激等分类），为表征的信息含量提供了客观、可重复的度量标准，推动了行为分析模型从依赖人工标注向自动化、可解释性方向的演进。

衍生相关工作

MABe22数据集的发布催生了一系列经典研究工作，包括基于掩码自编码器（MAE）、对比学习（BYOL）等前沿视频表征学习方法的适应性改进，以及针对轨迹数据的Transformer架构（如T-GPT、T-Perceiver）的创新设计。这些工作不仅验证了人类行为数据集上开发的方法在动物行为分析中的局限性，还推动了时空建模、多模态融合及领域自适应等技术的演进，为行为表征学习的算法发展提供了重要驱动力与验证基础。