VR.net

VR.net是由奥克兰大学、新加坡国立大学和Meta合作创建的一个大型、多样化且真实的虚拟现实游戏数据集，旨在推动基于机器学习的VR运动病研究。该数据集包含来自10种不同类型的10款真实世界VR游戏的约12小时游戏视频，每款游戏由至少5个不同用户评估。VR.net为每个视频帧提供了丰富的运动病相关标签，如相机/物体移动、景深和运动流等，这些标签通过自动工具从3D引擎的渲染管道中精确提取，无需访问游戏源代码。数据集的应用领域包括风险因素检测和舒适度预测，旨在改善VR体验并减少运动病的发生。

VR.net is a large, diverse and realistic virtual reality gaming dataset co-created by the University of Auckland, National University of Singapore and Meta, which aims to advance machine learning-based research on VR motion sickness. This dataset contains approximately 12 hours of gameplay video from 10 real-world VR games across 10 distinct categories, with each game evaluated by at least 5 different users. VR.net provides rich motion sickness-related labels for each video frame, such as camera/object movement, depth of field, motion flow and other relevant metrics. These labels are accurately extracted from the rendering pipeline of the 3D engine via automated tools, without requiring access to the game's source code. The application areas of this dataset include risk factor detection and comfort prediction, with the goal of improving VR experiences and reducing the incidence of motion sickness.

搜集汇总

数据集介绍

构建方式

VR.net数据集的构建方式是通过从10个不同类型的现实世界VR游戏中自动提取大约12小时的游玩视频。为了实现这一点，研究者们开发了一个名为VRhook的工具，该工具能够从3D引擎的渲染流程中自动提取地面真实数据，而无需访问VR游戏的源代码。这一过程挑战性在于手动标注需要大量时间，而VRhook则能够高效且精确地完成这一任务。

特点

VR.net数据集的特点包括真实世界、多样性和大规模。它包含了来自10个不同游戏类型的VR游戏的视频，每个游戏至少由5个不同用户进行评估，每个游戏会话持续15分钟。每个视频帧都被赋予了13种与运动病相关的标签，这些标签分为两类：'图形'和'交互'。'图形'标签描述了视频帧中的游戏内容，包括摄像机位置/速度/旋转、物体位置/速度/旋转、物体语义名称、视场、景深和运动流。'交互'标签描述了用户对每个帧的反应，例如头戴设备运动、操纵杆运动和自我报告。此外，VR.net的数据质量高，因为它是通过自动化工具提取的，而不是手动或基于视觉的标注。

使用方法

VR.net数据集的使用方法包括风险因素检测和舒适度等级预测。例如，研究者可以构建一个模型来预测摄像机是否执行了过度运动，或者游戏场景中是否有过多物体。此外，VR.net还可以作为基准数据集，用于复制和验证之前关于运动病的研究结果。研究者可以利用VR.net中的运动流和深度纹理标签来预测运动病程度。

背景与挑战

背景概述

虚拟现实(VR)技术在近年来获得了广泛的关注，并预计到2030年其市场规模将达到870亿美元。然而，高达40%的用户在VR体验中会遭受运动病，这种不适感会严重削弱用户的体验欲望。为了识别运动病风险因素并预测VR内容的舒适度，研究人员已经尝试使用机器学习(ML)方法。这些方法需要准确标注的、真实的、多样化的数据集，以实现高准确性和泛化性。为了满足这一需求，'VR.net'数据集应运而生，它提供了来自十个现实世界游戏的约12小时的游戏视频，涵盖了十个不同的游戏类型。每个视频帧都被准确地标注了丰富的与运动病相关的标签，例如相机/物体运动、深度场和运动流。构建这样一个数据集具有挑战性，因为手动标注需要大量时间。因此，我们利用一个工具来自动地从3D引擎的渲染流程中精确提取地面实况数据，而无需访问VR游戏的源代码。通过几个应用，例如风险因素检测和病态水平预测，我们展示了VR.net的实用性。我们不断扩展VR.net，并设想其下一个版本将比当前形式提供10倍的数据。我们相信，VR.net的规模、准确性和多样性将为VR运动病研究和更广泛的机器学习应用提供前所未有的机会。

当前挑战

VR.net数据集面临的挑战包括：1) 解决领域问题的挑战：目前，许多VR游戏商店使用机器学习方法来识别VR体验中的运动病，但这些方法受限于训练数据集的规模。为了提高准确性，需要一个大型的数据集，包含许多小时的视频剪辑和准确的风险因素。此外，视频剪辑应来自多样化的现实世界游戏类型，以确保泛化性。2) 构建过程中所遇到的挑战：构建VR.net数据集需要克服手动标注的局限性，因为手动标注需要不可行的大量时间。为了解决这个问题，我们使用了一个工具来自动地从3D引擎的渲染流程中精确提取地面实况数据，而无需访问VR游戏的源代码。此外，收集生理和注视跟踪信号也存在挑战，因为这些数据需要通过特定第三方应用程序从VR硬件供应商那里获取。

常用场景

经典使用场景

VR.net数据集被广泛用于虚拟现实（VR）运动病研究。该数据集提供了丰富的、多样化的游戏视频内容，涵盖了10个不同类型的游戏，共计约12小时的时长。每个视频帧都被标注了与运动病相关的标签，如相机/物体移动、深度场和运动流等。这些标签的准确性对于机器学习模型的高精度和泛化能力至关重要。VR.net数据集的构建挑战在于手动标注需要大量时间，因此，研究人员开发了一种工具，可以从3D引擎的渲染流程中自动提取真实数据，而无需访问VR游戏的源代码。通过VR.net，研究人员可以探索VR内容中导致运动病的风险因素，并预测舒适度等级。

实际应用

VR.net数据集在实际应用中具有广泛的应用前景。例如，研究人员可以利用VR.net构建运动病风险因素检测系统，帮助游戏开发者识别和缓解游戏中的风险因素，从而提高用户体验。此外，VR.net还可以用于预测VR内容的舒适度等级，为用户提供有关可能引起不适感的提示，并帮助游戏开发者调整游戏设计，以提供更安全的体验。VR.net的数据还可以用于训练其他机器学习模型，例如物体识别和动作识别等。

衍生相关工作

VR.net数据集的发布激发了大量的相关研究。例如，研究人员利用VR.net数据集构建了风险因素检测系统，该系统可以自动分析VR游戏视频，并识别潜在的运动病风险因素。此外，VR.net还被用于预测VR内容的舒适度等级，以及评估其他运动病研究的结果。这些研究工作进一步证明了VR.net数据集的重要性和价值，并为未来的VR运动病研究提供了宝贵的数据资源。