RatPose

RatPose是由大连理工大学创建的生物机器人运动预测数据集，专注于通过收集的第三人称视频序列预测生物机器人的运动。该数据集考虑了个体和环境的影响因素，涵盖了5种场景、6个个体和1023对数据。创建过程中，使用头顶摄像头捕捉垂直视角的环境，记录了多种环境下的视频，如迷宫、实验室模拟和开放场地。RatPose数据集旨在解决生物机器人行为控制中的不确定性问题，特别是在长期运动预测和行为控制方面。

RatPose is a bio-robot motion prediction dataset developed by Dalian University of Technology. It focuses on predicting the motion of bio-robots using collected third-person video sequences. This dataset considers the influencing factors of both individual subjects and the environment, covering 5 scenarios, 6 individual bio-robots, and 1023 data pairs. During its construction, overhead cameras were employed to capture top-down perspective environments, and videos were recorded across various settings including mazes, laboratory simulations, and open fields. The RatPose dataset is intended to resolve uncertainty issues in bio-robot behavior control, particularly in the domains of long-term motion prediction and behavior control.

搜集汇总

数据集介绍

构建方式

RatPose数据集构建旨在填补小型生物机器人运动预测领域高质量数据的空白。数据采集采用俯视摄像头，记录大鼠在多种环境中的运动视频，涵盖开阔场地、八臂迷宫、实验室模拟场景及烟雾干扰环境等五种场景。为增强多样性，在开阔场地基础上引入草地、玩具等障碍物。数据标注基于预定义规则，将运动结果分为上、下、左、右、中五类，依据运动向量与体长的比例及方向角度进行判定。数据集包含6只不同个体、1023组数据对，并随机按个体划分训练与测试集，以评估个体差异对模型泛化能力的影响。

特点

RatPose数据集的核心特点在于其高挑战性与多样性，挑战主要源于个体差异、环境变化及个体状态波动。数据涵盖五种场景，包括正常与烟雾干扰环境，并引入六只不同大鼠的个体差异，使得模型在面对分布外数据时极易失效。实验表明，即使仅隔一天，同一只大鼠的状态变化也会导致预测精度显著下降。此外，数据集支持单场景、多场景及更具挑战性的烟雾干扰场景三种任务设置，为难易程度不同的运动预测研究提供了丰富基准，充分反映了生物机器人运动预测中的不确定性与复杂性。

使用方法

RatPose数据集适用于基于视频的生物机器人运动预测任务，旨在预测大鼠未来3秒的移动方向。使用方法包括：首先，从视频中每8帧采样一帧，并将图像缩放至224×224分辨率，取最后8帧作为输入；其次，采用双流运动-场景解耦框架，通过运动移除模块和场景移除模块分别提取场景相关特征与运动相关特征，并结合场景对比损失与运动聚类损失进行训练；最后，使用时间移位头融合特征并输出五类运动概率。该方法在单场景与多场景任务中均显著优于现有动作识别方法，展现出强大的泛化能力。

背景与挑战

背景概述

RatPose数据集由大连理工大学与浙江大学的研究团队于2023年联合创建，旨在解决生物机器人运动预测领域的数据匮乏问题。该数据集聚焦于基于第三人称视角视频的大鼠运动意图预测，突破了传统动作识别仅关注当前行为的局限，转而预测未来运动方向。通过采集5种场景（如开放场、迷宫等）、6只个体大鼠的1023组视频数据，RatPose首次为小尺度生物机器人的长期运动预测提供了标准化基准，推动了脑机接口与行为控制原型的研究进展。

当前挑战

RatPose面临的核心挑战源于大鼠运动的高度不确定性与个体差异。一方面，动物行为受环境、生理状态等多因素影响，导致运动模式复杂多变，传统时序模型难以捕捉其长期意图；另一方面，构建过程中需克服数据采集的多样性难题，如不同场景（含烟雾遮挡）的视觉差异、个体间行为异质性以及时间跨度内的状态波动。此外，数据标注需基于运动方向与距离的精细分类，且少数样本场景（如每类仅1段视频）进一步加剧了模型泛化的难度。

常用场景

经典使用场景

RatPose数据集专为基于俯视视频的大鼠运动意图预测而设计，其经典使用场景聚焦于将大鼠的长期运动轨迹建模为分类任务。研究者利用该数据集预测大鼠在未来3秒内的运动方向（上、下、左、右或静止），从而在个体差异与环境变化交织的复杂条件下，实现对生物机器人运动模式的精准判别。这一场景突破了传统动作识别仅关注当前行为的局限，转而面向未来运动结果的推断，为生物行为控制原型研究提供了关键数据支撑。

衍生相关工作

RatPose数据集的发布催生了一系列创新性研究工作。其核心的双流解耦框架启发了后续针对小样本学习的双层优化方法（如RHG、BDA、IAPTT），这些方法在特征提取层与分类层之间建立迭代优化机制，显著提升了有限数据下的预测性能。此外，该数据集推动了时序移位模块（TSM）、时序关系网络（TRN）等经典架构在生物运动预测领域的适配与改进，并验证了对比学习与聚类损失在解耦多源特征中的普适有效性，为视频预测中的特征解耦研究开辟了新方向。

数据集最近研究

最新研究方向

在生物机器人行为预测领域，RatPose数据集为基于视觉的小型动物运动意图推断提供了全新基准。前沿研究方向聚焦于运动-场景解耦框架的构建，通过双流架构分离环境背景与个体动态特征，结合对比学习与聚类损失增强模型对个体差异及环境变化的鲁棒性。该工作呼应了脑机接口控制与灾后救援等热点应用，推动从动作识别向未来轨迹预测的范式跨越，为生物机器人自主行为调控与不确定性下的决策优化奠定了关键数据与方法基础。

相关研究论文

• Motion-Scenario Decoupling for Rat-Aware Video Position Prediction: Strategy and Benchmark

  大连理工大学 · 2023年