EyeNavGS

Name: EyeNavGS
Creator: 美国罗格斯大学
Published: 2025-06-03 10:32:35
License: 暂无描述

arXiv2025-06-03 更新2025-06-05 收录

下载链接：

https://symmru.github.io/EyeNavGS/

下载链接

链接失效反馈

官方服务：

资源简介：

EyeNavGS数据集是首个公开的6自由度（6-DoF）导航数据集，包括46位参与者在12个不同真实世界的3D高斯散点（3DGS）场景中的探索轨迹。数据集收集于两个地点，使用Meta Quest Pro头戴式设备，记录了用户在自由站立6-DoF导航期间每个渲染帧的头部姿态和眼睛注视数据。每个场景都进行了精细的初始化，以校正场景倾斜和比例，确保用户在虚拟现实（VR）中拥有舒适的体验。EyeNavGS数据集及其配套的软件工具为6-DoF视口预测、自适应流式传输、3D显著性以及3DGS场景的注视点渲染等研究领域提供了宝贵的资源。

The EyeNavGS dataset is the first publicly available 6-degree-of-freedom (6-DoF) navigation dataset, comprising exploration trajectories from 46 participants across 12 distinct real-world 3D Gaussian Splatting (3DGS) scenes. Collected at two locations using Meta Quest Pro head-mounted devices, the dataset records head pose and eye gaze data for each rendered frame while users perform free-standing 6-DoF navigation. Each scene underwent meticulous initialization to correct scene tilt and scale, ensuring a comfortable user experience within virtual reality (VR). The EyeNavGS dataset and its accompanying software tools provide a valuable resource for research areas including 6-DoF viewport prediction, adaptive streaming, 3D saliency, and gaze-based rendering for 3DGS scenes.

提供机构：

美国罗格斯大学

创建时间：

2025-06-03

原始信息汇总

👁️NavGS: A 6-DoF Navigation Dataset and Record-n-Replay Software for Real-World 3DGS Scenes in VR

数据集概述

数据集名称: 👁️NavGS (EyeNavGS)
数据类型: 6-DoF导航轨迹数据
应用场景: VR环境中的3D高斯泼溅(3DGS)场景
主要贡献:
- 首个公开的6-DoF导航数据集
- 包含46名参与者在12个真实世界3DGS场景中的导航数据
- 提供记录-回放软件工具链

数据集详情

数据采集

参与者: 46人(来自罗格斯大学和国立清华大学两个采集点)
设备: Meta Quest Pro头显(启用眼动追踪)
导航区域: 3m×3m物理游戏区域
记录内容:
- 头部位置/方向(四元数)
- 眼动注视位置/方向(四元数)
- 左右眼视场角(FOV)
- 时间戳(毫秒级)

场景信息

场景数量: 12个
场景来源:
- 8个来自原始3DGS论文
- 4个新训练自ZipNeRF数据集
场景类型: 包含室内外环境
场景初始化:
- 倾斜校正
- 公制尺度建立
- 起始视点选择

数据结构

dataset/ ├── truck/ │ ├── user1_truck.csv │ ├── user2_truck.csv │ └── ... ├── alameda/ │ ├── user1_alameda.csv │ └── ... └── (other scenes)

数据格式

文件格式: CSV
包含字段:
- ViewIndex
- FOV1-4
- Position X/Y/Z
- Quaternion X/Y/Z/W
- GazePos X/Y/Z
- GazeQ X/Y/Z/W
- Timestamp

配套软件工具

基础软件: SIBR viewer的定制分支(增加记录-回放功能)
实用工具:
- 虚拟世界坐标到物理舞台坐标转换
- 格式转换工具(csv2json/json2csv)
- 眼动可视化脚本

应用方向

6-DoF视口预测
自适应流媒体
3D显著性分析
注视点渲染技术

引用格式

bibtex @article{ding2025eyenavgs6dofnavigationdataset, title={EyeNavGS: A 6-DoF Navigation Dataset and Record-n-Replay Software for Real-World 3DGS Scenes in VR}, author={Zihao Ding and Cheng-Tse Lee and Mufeng Zhu and Tao Guan and Yuan-Chun Sun and Cheng-Hsin Hsu and Yao Liu}, journal={arXiv preprint arXiv:2506.02380}, year={2025} }

下载链接

搜集汇总

数据集介绍

构建方式

EyeNavGS数据集通过46名参与者在两个不同地点使用Meta Quest Pro头显，自由探索12个多样化的真实世界3D高斯泼溅（3DGS）场景而构建。每个场景经过细致的初始化处理，包括倾斜校正、尺度校准和起始视角选择，以确保虚拟现实体验的舒适性。数据采集过程中，记录了每帧的头部位姿和眼动数据，为研究提供了丰富的6自由度（6-DoF）导航信息。

特点

EyeNavGS数据集以其高保真度和多样性著称，涵盖了室内外多种真实场景的3DGS重建。数据集不仅包含详细的头部位姿信息，还记录了用户的眼动数据，为研究6-DoF视口预测、自适应流媒体传输、3D显著性及注视点渲染等提供了宝贵资源。此外，数据集的多地点采集确保了参与者背景的多样性，增强了数据的代表性和实用性。

使用方法

EyeNavGS数据集的使用方法包括通过配套的开源SIBR查看器软件进行记录和回放功能的应用。研究人员可以利用该软件回放用户导航轨迹，进行帧级分析和可视化。此外，数据集提供的实用工具支持数据格式转换和眼动可视化，便于与其他框架集成。这些功能使得数据集在评估视口预测算法、优化渲染性能及研究用户行为等方面具有广泛的应用潜力。

背景与挑战

背景概述

EyeNavGS数据集由Rutgers University和National Tsing Hua University的研究团队于2025年联合发布，旨在解决虚拟现实（VR）领域中6自由度（6-DoF）导航数据的缺失问题。该数据集基于3D高斯泼溅（3D Gaussian Splatting, 3DGS）技术，记录了46名参与者在12个真实场景中的头部姿态和眼动数据，为高保真度场景重建和沉浸式体验研究提供了重要资源。其创新性体现在首次将用户自然交互行为与3DGS场景相结合，推动了视口预测、自适应流传输和注视点渲染等方向的发展。

当前挑战

构建EyeNavGS数据集面临双重挑战：在领域层面，现有6-DoF导航数据集多基于合成环境或低质量点云，难以真实反映用户与高保真3DGS场景的交互行为；在技术层面，需解决3DGS场景的初始倾斜校正、尺度校准与视角初始化问题，以确保VR体验的感知舒适性。此外，数据采集需协调多站点设备差异，并开发专用记录-回放软件以处理OpenXR与3DGS坐标系不兼容等底层技术难题。

常用场景

经典使用场景

在虚拟现实（VR）研究领域，EyeNavGS数据集为6自由度（6-DoF）导航行为提供了真实世界的用户交互数据。该数据集记录了46名参与者在12个多样化3D高斯溅射（3DGS）场景中的头部姿态和眼动数据，为研究者在高保真度场景重建中的用户行为分析提供了宝贵资源。通过Meta Quest Pro头显采集的数据，支持自由站立式导航，为VR体验的舒适性和自然性设定了新标准。

衍生相关工作

EyeNavGS已催生多项前沿研究，如SGSS提出的3DGS场景流式传输框架、LapisGS的分层渐进式渲染方案，以及MetaSapiens基于注视点的实时神经渲染优化。其坐标转换工具还促进了与NeRFstudio等框架的互操作性，形成跨平台研究生态。

数据集最近研究