MicroG-4M

MicroG-4M是一个专门为微重力环境下的人类活动和场景理解设计的视频数据集。该数据集由真实太空任务和电影模拟视频组成，包括4759个视频片段，涵盖了50种动作，1238个上下文丰富的描述，以及超过7000个关于宇航员活动和场景理解的问答对。数据集支持细粒度多标签动作识别、时间视频描述和视觉问答三个核心任务，旨在支持空间定位和语义推理的全面评估。

搜集汇总

数据集介绍

构建方式

MicroG-4M数据集通过整合真实太空任务录像与高仿真微重力影视素材构建而成，采用自动化预处理与人工校验相结合的标注流程。原始视频经过3秒片段切割、基于YOLOv11的人物检测和场景过渡分析过滤，并通过BoT-SORT跟踪算法生成人物边界框标注。动作标签采用专为微重力环境设计的50类分类体系，由专业团队进行多轮交叉验证。视频描述和视觉问答数据通过结合航天机构官方文档与人工语义分析生成，并经过大型语言模型辅助的质量控制。

特点

该数据集包含4,759段三秒视频片段，涵盖国际空间站、天宫空间站等场景，具有390,000帧边界框标注和13,261个多标签动作标注。其核心特色在于微重力环境下人体动作的独特表征，如任意角度的站立姿态和漂浮物体交互。数据集同步提供1,238条场景描述文本和7,428组视觉问答对，支持动作识别、视频描述生成和视觉问答三大任务，填补了太空环境下时空语义理解基准的空白。

使用方法

研究者可通过官方GitHub仓库获取数据集，按7:1:2比例划分的训练-验证-测试集支持端到端模型评估。对于动作识别任务，建议采用SlowFast等时序建模架构并关注mAP@0.5指标；视频描述任务推荐使用InternVideo等密集采样的视觉语言模型，重点评估CIDEr和BERTScore；视觉问答任务需测试模型在反事实推理和微重力特定语义理解能力，可参考GPT-4o的零样本性能作为基线。数据集特别适用于验证模型在非典型运动模式和空间方位感知方面的鲁棒性。

背景与挑战

背景概述

MicroG-4M数据集由卡尔斯鲁厄理工学院、湖南大学、早稻田大学等机构的研究团队于2025年推出，旨在解决微重力环境下人类行为识别与场景理解的重大挑战。该数据集包含4,759段视频片段，涵盖50种动作类别、1,238条场景描述和7,000多组问答对，填补了现有地球重力环境数据集在空间应用领域的空白。作为首个专注于微重力场景理解的基准数据集，MicroG-4M通过真实太空任务影像和高质量影视模拟素材，为航天员辅助系统、人机协作等安全关键领域提供了重要的研究基础，推动了计算机视觉在太空环境中的适应性发展。

当前挑战

MicroG-4M面临的核心挑战体现在两个维度：在领域问题层面，微重力导致的运动模式异化（如无固定朝向的站立、漂浮式移动）突破了传统动作识别模型基于地球重力假设的认知框架；在构建过程中，需解决真实太空影像稀缺带来的数据稀疏性，以及微重力特有动作（如空中抓取物体）的语义标注标准化难题。此外，航天器密闭空间的复杂光影变化和多人交互场景，对视频质量控制和多模态标注一致性提出了更高要求。

常用场景

经典使用场景

在微重力环境下，人类行为与地球环境存在显著差异，MicroG-4M数据集通过提供真实和模拟的微重力视频片段，支持细粒度多标签动作识别、时序视频描述生成和视觉问答任务。这一数据集为研究微重力环境下的行为模式提供了丰富资源，帮助模型理解无重力条件下的独特运动特征和交互方式。

衍生相关工作

MicroG-4M的推出催生了一系列相关研究，包括基于Transformer和CNN的微重力动作识别模型优化，以及视觉语言模型在微重力环境下的适应性研究。例如，InternVideo和VideoLLaVA等模型在该数据集上的性能评估为微重力场景理解提供了新的技术路线。

数据集最近研究

最新研究方向

近年来，MicroG-4M数据集在微重力环境下的人类行为识别和场景理解领域引起了广泛关注。随着人类太空探索活动的日益频繁，如何确保宇航员在微重力环境中的安全和效率成为研究热点。该数据集通过提供真实和模拟的微重力环境视频，支持细粒度多标签动作识别、时序视频描述生成和视觉问答等核心任务，填补了现有地球重力数据集在这一领域的空白。前沿研究主要集中在提升模型在微重力环境下的鲁棒性，探索跨模态理解方法，以及开发适用于太空应用的自主智能系统。MicroG-4M的推出不仅推动了计算机视觉在太空环境中的应用，也为未来深空探测任务中的人机协作奠定了技术基础。

相关研究论文

• Go Beyond Earth: Understanding Human Actions and Scenes in Microgravity Environments

  卡尔斯鲁厄理工学院, 湖南大学, 早稻田大学, 皇家理工学院, 瑞典RISE研究院, 奔驰技术革新中心 · 2025年