360°视频分类与数据集

本数据集由德克萨斯大学达拉斯分校和巴西利亚大学合作创建，包含28个基于360°视频分类的场景无剪辑视频。数据集通过60名参与者的视口追踪记录，以及他们对观看视频体验的反馈。数据集旨在研究用户在观看360°视频时的行为模式，特别是在虚拟现实环境中的视口预测和显著性检测。此外，数据集还用于探索360°视频流媒体技术，以及视觉注意和显著性建模。

This dataset was collaboratively developed by The University of Texas at Dallas and the University of Brasília. It comprises 28 uncut videos of scene categories for 360° video classification. The dataset collects viewport tracking data from 60 participants, along with their subjective feedback on their experience of viewing these videos. Its primary goal is to investigate user behavioral patterns during 360° video viewing, with a particular focus on viewport prediction and saliency detection in virtual reality environments. Additionally, this dataset can also be utilized to explore 360° video streaming technologies, as well as visual attention and saliency modeling.

搜集汇总

数据集介绍

构建方式

在虚拟现实技术蓬勃发展的背景下，360°视频分类与数据集的构建遵循了严谨的科学方法。研究团队首先提出了一种基于摄像机运动与场景中运动目标数量的二维分类法，将视频划分为十五个类别。依据此分类体系，团队从公开平台选取并自主拍摄了共计28段时长为一分钟且无场景切换的360°视频。随后，通过设计主观实验，招募了60名参与者使用Oculus Go头戴式显示器观看视频子集，并以60Hz的采样频率同步记录其头部方向四元数与视口中心向量，最终形成了包含视口轨迹、用户反馈问卷、视口热力图及样本视频的结构化数据集。

使用方法

该数据集为360°视频领域的多项研究提供了关键资源。在视口预测与显著性检测模型开发中，研究者可利用高频率记录的头部运动轨迹数据训练和验证算法性能。内容制作者可通过分析视口聚类模式与热力图，理解不同视频类别下用户的注意力分布，从而优化叙事引导与拍摄手法。在流媒体传输研究中，真实的视口轨迹可用于模拟用户行为，评估自适应传输策略的效能。此外，结合用户反馈问卷，该数据集还能支持虚拟现实体验质量、临场感及舒适度的跨学科研究。

背景与挑战

背景概述

随着虚拟现实技术的蓬勃发展，360°视频作为一种沉浸式媒体形式，在娱乐与教育等领域展现出广阔的应用前景。2019年，由德克萨斯大学达拉斯分校与巴西利亚大学的研究团队联合构建的360°视频分类与数据集应运而生，旨在通过系统化的分类体系探究用户视口行为模式。该数据集的核心研究问题聚焦于如何依据摄像机运动与场景中运动对象的数量对360°视频进行科学分类，并基于此收集用户观看时的视口轨迹数据，以揭示内容特性与用户注意力之间的内在关联。这一工作不仅为视口预测、显著性检测等关键技术提供了实证基础，也推动了360°视频内容制作与传输优化的相关研究。

当前挑战

在360°视频领域，核心挑战在于如何有效预测用户视口以优化流媒体传输质量，同时克服因用户自由探索带来的叙事控制难题。具体而言，现有视口预测方法的准确性与时长受限，难以适应网络波动，预测偏差会直接影响用户体验质量。此外，内容制作中缺乏成熟的叙事引导机制，摄像机运动与场景切换的效果与传统视频迥异，使得创作者难以有效吸引并维持用户注意力。在数据集构建过程中，研究团队面临视频采集与分类的实践挑战，例如垂直摄像机运动与单一运动对象组合的类别因缺乏可用素材而未能纳入，部分自制视频因抖动剧烈可能引发用户不适而被舍弃，这凸显了高质量、多样化360°视频内容获取的困难。

常用场景

经典使用场景

在虚拟现实与多媒体系统研究领域，360°视频分类与数据集为探索用户视口行为模式提供了关键实验平台。该数据集通过系统化分类，依据摄像机运动与场景中移动目标数量将视频划分为不同类别，并记录了60名参与者在观看过程中的视口轨迹与主观反馈。这一设计使得研究者能够深入分析用户注意力分布与内容特征之间的关联，尤其在视口预测算法的开发与验证中，数据集通过聚类分析揭示了用户对移动目标的追踪倾向，为优化360°视频流媒体传输策略奠定了数据基础。

解决学术问题

该数据集有效解决了360°视频研究中视口预测精度不足、用户行为建模缺乏系统性数据支撑的学术难题。通过提供基于摄像机运动与移动目标数量的分类框架，数据集帮助研究者识别不同视频类别下用户视口模式的差异，例如移动目标的存在显著减少视口聚类数量，而摄像机运动则可能引导用户注意力集中。这些发现不仅推动了视口预测算法从通用模型向内容自适应模型的演进，还为虚拟现实中叙事引导与用户体验优化提供了实证依据，填补了以往数据集在分类体系与行为关联分析上的空白。

实际应用

在实际应用层面，该数据集为360°视频流媒体服务与内容创作提供了直接参考。基于视口轨迹的热力图与聚类分析，视频平台能够动态调整带宽分配，优先传输用户关注区域的视频内容，从而提升网络波动环境下的流媒体效率与用户体验。同时，内容制作者可依据数据集中用户反馈与视口分布，设计更符合视觉注意规律的摄像机运动与场景布局，增强虚拟现实叙事的沉浸感。此外，数据集中的不适感评分也为VR设备舒适度优化提供了重要指标，助力降低用户在长时间观看中的眩晕风险。

数据集最近研究

最新研究方向

在虚拟现实与多媒体技术领域，360°视频数据集的研究正聚焦于用户视口预测与内容优化的前沿方向。随着沉浸式媒体应用的普及，如何精准预测用户在头戴式显示器中的观看行为成为关键挑战。当前研究热点包括基于深度学习的视口轨迹分析，通过结合摄像机运动与场景中移动目标的分类学特征，提升预测模型的准确性与鲁棒性。此外，该数据集还推动了自适应流媒体技术的发展，通过分析用户反馈与不适感数据，优化全景视频的传输策略与叙事结构，从而在保障体验质量的同时降低带宽消耗。这些进展不仅深化了对用户视觉注意机制的理解，也为虚拟现实内容创作与实时渲染提供了重要支撑。

相关研究论文

• A Taxonomy and Dataset for 360° Videos

  德克萨斯大学达拉斯分校 · 2019年