MouseGPT Open-Vocabulary Dataset

MouseGPT开放词汇数据集是由上海科技大学信息科学与技术学院和生命科学与技术学院创建的大型多模态数据集。该数据集包含超过4200万帧多样精神状况下小鼠的多视角视频记录，如抑郁、幻觉和精神分裂症等。数据集通过精确的3D关键点位置捕捉，确保了对自然和刺激诱发行为的详细记录。该数据集为MouseGPT模型的监督微调提供了多样化的基础，使模型能够生成对小鼠行为的详细、上下文敏感的描述，从而为神经精神疾病研究提供了深入了解复杂行为的灵活方法。

The MouseGPT Open-Vocabulary Dataset is a large-scale multimodal dataset developed by the School of Information Science and Technology and the School of Life Science and Technology at ShanghaiTech University. This dataset encompasses over 42 million frames of multi-view video recordings of mice across diverse mental states, such as depression, hallucinations, schizophrenia and other related conditions. Precise 3D keypoint localization is employed to ensure detailed documentation of both spontaneous and stimulus-induced behaviors. This dataset serves as a diversified foundational resource for the supervised fine-tuning of the MouseGPT model, enabling the model to generate detailed, context-aware descriptions of mouse behaviors, thereby providing a flexible methodology for gaining in-depth insights into complex behaviors in neuropsychiatric disease research.

搜集汇总

数据集介绍

构建方式

MouseGPT Open-Vocabulary Dataset的构建基于多视角视频捕捉系统，通过8台同步摄像机以4K分辨率和60帧每秒的速率记录小鼠行为。数据集中包含超过4200万帧的视频，涵盖了多种精神疾病条件下的小鼠行为。通过3D关键点重建和运动学信息提取，结合GPT-4o生成的开源词汇行为注释，数据集提供了丰富的行为描述。数据集的构建过程还包括自动化的数据筛选和质量评估，确保注释的准确性和一致性。

特点

该数据集的特点在于其大规模和多模态性，涵盖了小鼠在不同精神疾病条件下的行为表现。数据集不仅包含详细的3D姿态和运动学信息，还通过开源词汇注释提供了丰富的行为描述，能够捕捉到小鼠行为的细微变化。此外，数据集还支持行为分类、时间序列分析和新型行为发现，为神经科学和精神病学研究提供了强大的工具。

使用方法

MouseGPT Open-Vocabulary Dataset的使用方法包括通过多模态视觉-语言模型（VLM）进行行为分析。研究人员可以利用数据集中的3D姿态和运动学信息，结合开源词汇注释，进行行为分类、时间序列分析和新型行为发现。数据集还支持自然语言查询，用户可以通过描述行为特征来检索相关帧，并进行详细的行为分析。此外，数据集还提供了行为聚类和表型预测功能，帮助研究人员深入理解小鼠行为的复杂动态。

背景与挑战

背景概述

MouseGPT Open-Vocabulary Dataset 是由上海科技大学的研究团队于2025年推出的首个大规模视觉-语言模型数据集，专注于小鼠行为分析。该数据集由Teng Xu、Taotao Zhou、Youjia Wang等研究人员主导开发，旨在通过结合视觉线索和自然语言描述，革新小鼠行为分析领域。数据集包含超过4200万帧的多视角视频，涵盖了多种精神疾病条件下的小鼠行为，提供了丰富的姿态动态和开放词汇行为注释。MouseGPT的推出标志着动物行为分析从传统的手动标注向自动化、语义化描述的转变，为神经科学和精神病学研究提供了全新的工具。该数据集不仅支持行为分类和聚类，还能发现新的行为模式，极大地推动了动物行为研究的深度和广度。

当前挑战

MouseGPT数据集在构建和应用过程中面临多重挑战。首先，小鼠行为的复杂性和多样性使得传统的行为分类方法难以捕捉到细微的行为变化，尤其是在自由活动或社交互动的小鼠中，行为模式更加难以量化。其次，数据集的构建依赖于多视角视频的同步采集和精确的3D姿态估计，这对硬件设备和算法提出了极高的要求。此外，开放词汇的行为注释依赖于大规模语言模型的生成能力，如何确保生成的描述既准确又具有语义一致性，是一个技术难题。最后，数据集的规模庞大，处理和分析这些数据需要高效的计算资源和算法优化，以确保模型的实时性和可扩展性。这些挑战不仅体现在数据集的构建过程中，也影响了后续行为分析模型的训练和应用。

常用场景

经典使用场景

MouseGPT数据集在神经科学和精神病学研究中具有广泛的应用，尤其是在小鼠行为分析的领域。该数据集通过整合视觉和自然语言信息，能够自动生成详细的行为描述，帮助研究人员在不依赖人工标注的情况下，全面解读小鼠的行为模式。经典的使用场景包括对小鼠在抑郁、幻觉和精神分裂等精神疾病模型中的行为进行量化分析，从而揭示这些疾病的潜在神经机制。

实际应用

在实际应用中，MouseGPT数据集被广泛用于药物筛选和神经精神疾病的研究。例如，研究人员可以利用该数据集分析小鼠在服用不同精神药物后的行为变化，从而评估药物的疗效和副作用。此外，该数据集还可用于社会行为研究，帮助理解小鼠在群体中的互动模式。通过提供详细的行为描述和量化分析，MouseGPT为药物开发和疾病模型的构建提供了强有力的支持。

衍生相关工作

MouseGPT数据集衍生了许多相关的研究工作，尤其是在行为分析和神经科学领域。基于该数据集，研究人员开发了多种行为分类和聚类算法，进一步提升了行为分析的精度。此外，该数据集还推动了视觉-语言模型在动物行为研究中的应用，催生了多个类似的行为分析工具。例如，一些研究团队利用MouseGPT的开放词汇注释，开发了针对其他动物模型的行为分析框架，扩展了该技术的应用范围。