GORP

GORP数据集是由Meta Reality Labs首次提出，包含超过14小时的商业虚拟现实(VR)头戴式设备产生的稀疏输入信号和配套的高质量身体运动地面真相数据。该数据集由28人使用运动控制器和手部追踪产生的数据组成，展示了在处理稀疏输入信号时的实际挑战，旨在推动全身运动追踪领域的研究进展。

The GORP dataset was first proposed by Meta Reality Labs. It contains over 14 hours of sparse input signals generated by commercial virtual reality (VR) head-mounted devices, paired with high-quality ground-truth data of bodily movements. This dataset comprises data collected from 28 participants using motion controllers and hand tracking. It demonstrates the practical challenges encountered when processing sparse input signals, and aims to advance research in the field of full-body motion tracking.

AI搜集汇总

数据集介绍

构建方式

GORP数据集的构建采用了先进的同步技术，通过Meta Quest 3头戴设备和Optitrack动作捕捉系统的协同工作，实现了高精度的数据采集。具体而言，数据集通过QuestSync设备实现了时间戳同步，确保了头戴设备与动作捕捉系统之间的数据对齐。此外，利用专有软件对头戴设备、控制器及手部姿态数据进行校准，最终生成了包含超过14小时VR游戏数据的丰富数据集。数据采集过程中，28名参与者在控制器和手部追踪两种模式下进行游戏，确保了数据的多样性和真实性。

使用方法

GORP数据集的使用方法包括训练和评估两个主要阶段。研究者可以利用数据集中的真实MC和HT信号训练模型，并通过模拟信号丢失的场景来测试模型的鲁棒性。数据集提供了详细的评估协议，包括MPJPE、MPJVE等指标，用于衡量模型在真实场景中的表现。此外，数据集还支持对模型在信号丢失和恢复情况下的平滑过渡能力进行评估，为改进实时动作生成算法提供了重要参考。

背景与挑战

背景概述

GORP数据集由Meta Reality Labs等机构于2025年提出，是首个包含真实虚拟现实（VR）头显稀疏输入与高质量动作捕捉（MoCap）配对数据的基准数据集。该数据集聚焦于扩展现实（XR）领域中从稀疏信号生成流畅全身运动的核心问题，填补了现有合成数据无法模拟真实场景噪声和信号丢失的空白。其创新性在于通过商业VR设备采集了超过14小时的28名用户的游戏数据，包含运动控制器和手部追踪两种模式，为研究稀疏时空信号下的运动生成提供了真实基准。

当前挑战

GORP数据集面临双重挑战：其一，领域问题层面需解决从噪声和间歇性手部追踪信号中生成连贯全身运动的难题，传统方法在信号丢失时易产生运动断裂；其二，构建过程中需克服商业VR设备与MoCap系统的精确时空同步、标定误差控制等工程挑战。此外，数据集还需处理手部遮挡导致的长时间信号缺失问题，这对模型的鲁棒性和运动合成真实性提出了更高要求。

常用场景

经典使用场景

在扩展现实（XR）领域，GORP数据集为从稀疏输入信号生成流畅全身运动的研究提供了关键支持。该数据集通过结合商业虚拟现实设备的真实传感器数据与高质量运动捕捉地面真实数据，为研究者提供了一个前所未有的实验平台。特别是在处理手部跟踪信号丢失或噪声干扰时，GORP数据集能够有效验证模型在跟踪模式与合成模式间无缝切换的能力。

解决学术问题

GORP数据集解决了XR研究中长期存在的稀疏信号到全身运动映射的挑战。传统方法依赖合成数据，难以模拟真实场景中的信号丢失和噪声问题。该数据集通过提供14小时的真实VR游戏数据，包含28名参与者的运动控制器和手部跟踪输入，为研究者在信号不稳定性、运动平滑性过渡等核心问题上提供了可靠基准。其创新性在于首次实现了商业设备传感器数据与专业动作捕捉系统的精确同步和校准。

实际应用

在实际应用中，GORP数据集支撑了虚拟化身驱动、社交互动和沉浸感增强等XR核心功能开发。例如在Meta Quest等设备上，基于该数据集训练的模型能够根据不稳定的手部跟踪输入，实时生成符合用户意图的全身动作。这种能力对于远程协作、虚拟社交等需要高保真虚拟形象的应用场景尤为重要，显著提升了用户在信号中断时的体验连续性。

数据集最近研究

最新研究方向

在扩展现实（XR）领域，GORP数据集的推出为基于稀疏信号生成流畅全身运动的研究开辟了新方向。该数据集首次将商用虚拟现实（VR）头显的真实稀疏输入信号与高质量动作捕捉数据配对，解决了以往合成数据无法复现真实场景挑战的瓶颈。当前研究聚焦于通过滚动预测模型（RPM）处理手部追踪信号丢失和噪声问题，实现从追踪模式到合成模式的无缝切换。这一技术突破对社交虚拟化身驱动、动作理解及沉浸感提升具有重要意义，尤其在Meta等企业推动的元宇宙生态中，为实时动作生成算法提供了关键基准。

相关研究论文

• From Sparse Signal to Smooth Motion: Real-Time Motion Generation with Rolling Prediction Models

  德国巴奎罗1,2,3,纳丁·贝尔奇1,马诺杰克·马拉姆雷迪1,卡洛斯·查孔1,菲里波·阿卡杜1,费兰·里瓜尔1,尼克吉亚·何1,克里斯蒂娜·帕尔梅罗2,4,塞尔吉奥·埃斯卡拉2,3,叶宇婷1,罗宾·基普斯1 · 2025年