panorama-video-process

该数据集包含全景视频记忆测试的测试数据及三种处理模式的输出结果。测试数据来源于360x_dataset_LR数据集，选取了15个样本。三种模式分别为：two-turn（目标-离开-目标）、away-target-away-target same（入口离开-目标-出口离开-目标，且入口离开与出口离开使用相同的偏航角和视场角）、away-target-away-target opposite（时序与same相同，但入口离开与出口离开相对于目标方向相反，偏航角符号相反，视场角大小相同）。每种模式的输出均包含处理后的视频、元数据以及最终离开持续时间分布的直观可视化结果。该数据集可用于研究全景视频中基于注视预测的记忆行为。This dataset contains test data for panoramic video memory testing and the output results of three processing modes. The test data is sourced from the 360x_dataset_LR dataset, with 15 samples selected. The three modes are: two-turn (target-leave-target), away-target-away-target same (entry leave-target-exit leave-target, with the same yaw angle and field of view for entry leave and exit leave), and away-target-away-target opposite (same timing as same mode, but entry leave and exit leave are in opposite directions relative to the target, with opposite yaw angle signs and same field of view magnitude). Each modes output includes the processed video, metadata, and intuitive visualizations of the final leave duration distribution. This dataset can be used to study gaze prediction-based memory behavior in panoramic videos.

原始信息汇总

数据集概述

该数据集包含三种模式下的测试数据及处理输出，用于全景视频记忆测试。

数据结构

• test_data/：包含从 https://huggingface.co/datasets/quchenyuan/360x_dataset_LR/tree/main 选取的 15 个测试样本。
• outputs/two-turn/：由 two-turn 模式处理得到的视频、元数据以及最终离开持续时间分布的可视化图。
• outputs/away-target-away-target same/：由 away-target-away-target same 模式处理得到的视频、元数据及可视化分布图。
• outputs/away-target-away-target opposite/：由 away-target-away-target opposite 模式处理得到的视频、元数据及可视化分布图。

三种处理模式说明

1. two_turn 模式（目标-离开-目标）

时间顺序：

目标保持 -> 平滑转向离开 -> 离开保持 -> 平滑转回目标 -> 最终目标保持

该模式下，目标从第一帧起可见，随后视角离开目标，最终在预测窗口内从离开方向转回同一目标。

2. away_target_away_target + same 模式

时间顺序：

进入离开保持 -> 平滑转向目标 -> 中间目标保持 -> 平滑转向退出离开 -> 退出离开保持 -> 平滑转回目标 -> 最终目标保持

其中 same 表示进入离开与退出离开使用相同的离开偏航角和离开视场角（FOV）。

3. away_target_away_target + opposite 模式

时间顺序与 same 模式一致：

进入离开保持 -> 平滑转向目标 -> 中间目标保持 -> 平滑转向退出离开 -> 退出离开保持 -> 平滑转回目标 -> 最终目标保持

其中 opposite 表示进入离开与退出离开相对于目标方向相反：若进入离开是目标偏航角加一个正增量，则退出离开采用负增量，反之亦然。两个离开段的视场角大小相同，但偏航角不同。

使用方式

可通过 huggingface_hub 的 snapshot_download 函数下载整个数据集：

python from huggingface_hub import snapshot_download

path = snapshot_download( repo_id="sunmengxi/panorama-video-process", repo_type="dataset" ) print(path)

搜集汇总

数据集介绍

构建方式

本数据集源自对360度全景视频在动态视口切换情境下的记忆效应研究，其构建基于精心设计的实验范式。具体而言，数据集的测试数据选自360x_dataset_LR，从中提取了15个具有代表性的样本。为探究不同视线轨迹对目标记忆保持的影响，研究团队设计了三类时间序列模式，包括目标-离开-目标（two-turn）、离开-目标-离开-目标同侧（same）及对侧（opposite）模式。每个模式通过平滑的视口旋转与停留阶段，精确控制了目标与偏离方向的相对位置及视野大小，生成处理后视频，并配套元数据及可视化结果，系统性地记录了各模式下用户注意力偏离与回归的动态过程。

特点

该数据集的核心特色在于其精细化的实验控制和多维度的数据记录。三类观察模式相互对照，能够清晰揭示视口从目标短暂偏离至回归过程中，空间方向一致性（同侧或对侧）如何影响目标记忆的稳定性。数据集不仅包含处理后的视频文件，还附带详尽的元数据，记录了每一时刻的视口朝向与视野范围，便于进行量化分析。此外，可视化的最终偏离时长分布图，为研究者提供了直观的数据洞察，使得记忆效应的时序特征一目了然，极具研究价值。

使用方法

使用者可通过HuggingFace Hub便捷地获取该数据集，只需调用snapshot_download函数并指定数据集标识符，即可将全部数据下载至本地环境。下载后的目录结构清晰，分为test_data与outputs三大模式子目录。研究者和开发者可基于这些视频与元数据，复现实验流程，或作为基准测试集，评估自身模型在全景视频关注度预测、记忆机制模拟等任务上的性能。该数据集的发布为视觉认知计算领域提供了一个标准化、可比较的评测平台。

背景与挑战

背景概述

随着沉浸式媒体与虚拟现实技术的迅猛发展，全景视频的智能处理成为计算机视觉与多媒体领域的前沿研究方向。在此背景下，该数据集由研究团队于近期创建，源自对360度视频中目标跟踪与视角切换记忆效应的深入探究。其核心研究问题在于，当视角历经远离再回归目标的过程，模型能否维持对目标的持续认知。该数据集精心设计了三种视觉转换模式，为评估与优化全景视频理解算法提供了标准化测试基准，对推动动态视觉场景下的长期建模研究具有重要参考价值。

当前挑战

该数据集主要应对两大挑战。其一，所解决的领域问题在于全景视频中的动态视觉记忆保持——目标在视角短暂离开后重新出现，模型需克服视觉中断带来的表征漂移，实现准确再识别与状态跟踪，这对现有视频理解框架提出了更高要求。其二，构建过程中需确保实验条件的严格可控性，包括away段偏航角与视场角的精确设定、same与opposite两种对称路径的生成，以及多模式测试数据的统一编码与元数据规范，这些步骤的复杂协调对数据质量与实验可复现性构成了严峻考验。

常用场景

经典使用场景

该数据集服务于全景视频记忆机制研究，其核心用途在于评估和对比不同视角切换模式（如two-turn、away-target-away-target同侧/对侧）对观看者记忆保持的影响。通过精心设计的时序序列，研究者可精确控制注视目标与偏离方向，从而量化空间认知中的‘离开-返回’效应，为探索人类视觉记忆的编码与提取过程提供标准化测试基准。

解决学术问题

该数据集直面全景视频领域缺乏系统性记忆评测数据的困境，解决了三个关键学术问题：一是如何构建具有明确时序结构的视角转移范式以模拟真实观看行为；二是如何分离‘目标保持时间’与‘偏离方向’对记忆衰退的独立贡献；三是如何通过可复现的实验设计支撑关于空间工作记忆容量的理论假设。其意义在于推动全景环境下的认知心理学与计算机视觉交叉研究，为构建预测人类记忆表现的数学模型提供实证基础。

衍生相关工作

基于该数据集，研究者可衍生出多项经典工作：其一，构建基于深度学习的视角切换预测模型，利用时序特征预测用户何时会重新注视目标，进而在智能头显中实现预加载渲染；其二，设计视觉记忆强度的量化指标，并关联眼动数据与脑电信号，深化对全景交互中记忆机制的理解；其三，将数据集作为训练基准，开发针对全景视频的摘要生成算法，自动提取用户最难忘的片段；其四，对比不同偏离方向（同侧/对侧）的记忆效应，为多模态学习理论提供行为学证据。这些工作共同拓展了全景视频分析的研究边界。