Motion4D

Motion4D是由华中科技大学与南洋理工大学联合创建的首个面向合成到真实运动预测研究的大规模合成4D LiDAR数据集。该数据集包含1,370个动态序列，总计124,000帧点云数据，涵盖了丰富多样的交通运动模式，其数据通过基于物理的仿真流程生成，利用CAD资产和射线投射算法渲染高保真序列。该数据集专为合成到真实域自适应场景设计，旨在解决自动驾驶领域中真实运动标注成本高昂的难题，为运动预测模型的训练与评估提供基准支持。Motion4D is the first large-scale synthetic 4D LiDAR dataset dedicated to synthetic-to-real motion prediction research, jointly developed by Huazhong University of Science and Technology and Nanyang Technological University. This dataset includes 1,370 dynamic sequences with a total of 124,000 frames of point cloud data, covering a diverse range of traffic motion patterns. The data is generated via physics-based simulation pipelines, and high-fidelity sequences are rendered using CAD assets and ray-casting algorithms. Specifically designed for synthetic-to-real domain adaptation scenarios, this dataset aims to resolve the high-cost challenge of real-world motion annotation in autonomous driving, and provides benchmark support for the training and evaluation of motion prediction models.

搜集汇总

数据集介绍

构建方式

Motion4D数据集基于Waymo Open Dataset与Blender驱动的LiDAR渲染引擎BLAINDER构建而成。其核心流程首先从Waymo中筛选出685帧静态LiDAR点云作为场景库，确保背景具有广阔的道路区域；同时，结合CARLA与Render People中的CAD资产以及Waymo Motion Dataset中的多样化轨迹，构建运动库。随后，通过BLAINDER的多迭代光线追踪技术，将动态物体放置在静止背景的有效区域，并沿轨迹运动以生成连续的4D LiDAR序列。运动标注则根据物体边界框与轨迹计算得到，从而在无需真实标注的情况下提供精确的逐单元运动位移信息。

特点

Motion4D是专为合成到真实运动预测（SRMP）设计的首个大规模合成4D LiDAR数据集，包含1370个序列与12.4万帧点云，每个序列基于单一静态点云即可生成丰富的运动模式。其突出特点在于运动多样性与均衡分布，涵盖从低速到高速的广泛速度区间，且在运动标签密度上优于Waymo与nuScenes等真实数据集。通过物理模拟引擎实现逼真的光线折射与反射效果，Motion4D提供了高保真的场景渲染与精确的标注，有效弥合了合成数据与真实数据之间的领域鸿沟，为SRMP研究奠定了坚实基础。

使用方法

Motion4D主要用于合成到真实的运动预测迁移学习，用户可将其作为标记的源域数据，配合无标签的真实数据训练教师-学生框架。使用者首先在Motion4D上预训练教师模型，使其学习运动分布与物体属性先验；随后，教师模型为真实数据生成伪标签，并通过目标性感知运动增强模块过滤噪声与不一致预测，以监督学生模型的训练。在模型推理时，直接采用教师模型的运动分支输出进行性能评估。数据集支持鸟瞰图表示与时空金字塔网络等标准处理流程，便于快速集成至现有方法中进行基准测试与对比实验。

背景与挑战

背景概述

Motion4D数据集由华中科技大学、南洋理工大学及思必驰科技的研究人员于2026年联合创建，旨在解决自动驾驶系统中运动预测领域的关键瓶颈——真实世界运动标签获取成本高昂且标注困难。该数据集是首个专为合成到真实运动预测（Synthetic-to-Real Motion Prediction, SRMP）任务设计的大规模合成4D LiDAR数据集，包含1370个序列、共计124K帧点云数据，覆盖丰富多样的运动模式与动态场景。其核心研究问题在于如何通过物理仿真管线生成高保真合成数据，并借助跨域知识迁移策略，使模型能在无标签真实场景中实现鲁棒的运动预测。Motion4D的提出填补了SRMP领域缺乏专用合成数据集的空白，为相关研究提供了标准化基准，显著推动了类无关运动预测技术向实际应用的进程。

当前挑战

Motion4D所面临的挑战涵盖领域问题与数据集构建两个层面。在领域问题层面，合成数据与真实数据之间存在显著的域偏移，包括运动分布差异、遮挡模式不同及物体组成不一致等，导致单纯依赖合成数据训练的模型在真实场景中预测误差激增150.5%。即便采用教师-学生框架生成伪标签，朴素的逐格回归方法仍易产生运动抖动与物体级不一致等噪声伪标签，阻碍稳定知识迁移。在数据集构建层面，设计过程中需克服模拟真实交通场景的复杂性，包括从Waymo数据集中筛选静态背景、构建包含CAD资产与多样化轨迹的运动库、实现基于光线追踪的高保真LiDAR仿真，并确保碰撞检测与运动合理性，最终生成大规模、高多样性的4D序列，同时保障运动标注的精确度与同步性。

常用场景

经典使用场景

Motion4D作为首个专为合成到真实运动预测（SRMP）研究定制的大规模合成4D LiDAR数据集，其经典使用场景在于作为源域数据，驱动教师-学生框架下的无监督域适应训练。研究者利用该数据集丰富的运动标注和多样化的动态场景，训练一个初始的教师模型，随后在真实的未标注数据上生成伪标签，以引导学生模型在真实环境中进行鲁棒的运动预测。此举有效地架起了合成数据与真实数据之间的桥梁，解决了真实世界中运动标注成本高昂的瓶颈问题。

解决学术问题

Motion4D的发布切中肯綮地解决了学术研究中两大关键问题：一是填补了运动预测领域缺乏高质量、大规模合成数据集的空白，为SRMP任务提供了标准化的训练与评估基准；二是为研究运动知识跨域迁移的算法提供了物质基础，有力地支撑了对合成-真实域间差异的深入探索。该数据集不仅揭示了朴素运动回归方法在域偏移下会产生运动抖动与物体级不一致等噪声伪标签的固有问题，还推动了SR-Motion等新颖框架的诞生，显著提升了模型在真实场景下的迁移性能，对推动类无关运动预测从理论走向实证具有里程碑式的意义。

衍生相关工作

Motion4D的诞生直接衍生了SR-Motion这一开创性的工作，该研究通过提出物体感知的运动预测和物体辅助的运动增强模块，严谨地验证了利用合成数据学习物体先验以桥接域间鸿沟的有效性。此外，该数据集的可扩展性与高质量也激励了后续一系列在合成到真实运动预测领域的探索，例如改进伪标签生成策略、引入对比学习范式以及开发更鲁棒的多任务学习架构等。这些衍生工作共同构建了一个以Motion4D为核心的研究生态圈，持续推动着运动预测领域在无监督域适应方向上的边界拓展与性能跃升。