HFR-LS

Name: HFR-LS
Creator: 香港城市大学·计算机科学系; Netflix公司
Published: 2026-01-28T00:40:38+08:00

arXiv2026-01-28 更新2026-01-29 收录

视频质量评估

视频编码

数据链接：

https://github.com/real-hjq/HFR-LS 数据链接链接失效反馈

官方服务：

资源简介：

HFR-LS是由香港城市大学和Netflix研究人员联合构建的高帧率直播视频质量评估数据集，包含32段120fps原始视频经4种码率（5-15Mbps）和3种帧率（30/60/120fps）组合编码生成的384个测试样本。数据集通过标准化主观实验采集差异平均意见分（DMOS），重点研究码率约束下压缩强度与帧率对感知质量的交互影响。其创新性在于模拟真实直播场景的固定码率分配机制，为视频编码优化和VQA模型开发提供基准数据。

HFR-LS is a high-frame-rate live streaming video quality assessment dataset jointly constructed by researchers from City University of Hong Kong and Netflix. It consists of 384 test samples generated by encoding 32 original 120fps videos with 4 bitrate levels (5-15 Mbps) and 3 frame rate levels (30/60/120 fps). The dataset collects Differential Mean Opinion Score (DMOS) via standardized subjective experiments, focusing on the interactive effects of compression intensity and frame rate on perceptual quality under bitrate constraints. The innovation of this dataset lies in simulating the constant bitrate allocation mechanism of real live streaming scenarios, providing benchmark data for video coding optimization and VQA model development.

提供机构：

香港城市大学·计算机科学系; Netflix公司

创建时间：

2026-01-28

原始信息汇总

HFR-LS: High Frame Rate Live Streaming Dataset 数据集概述

数据集简介

HFR-LS（High Frame Rate Live Streaming Dataset）是一个主观视频质量数据集，旨在研究比特率受限的直播场景下压缩强度与帧率之间的感知权衡。该数据集提供了高质量参考视频以及在多个比特率和帧率下系统编码的表示，并包含在标准化观看条件下收集的主观差异平均意见得分（DMOS）。

源内容

数量：32个高质量源序列。
原始捕获帧率：120 fps。
格式：转换为1920×1080分辨率，YUV 4:2:0，8位。
时长：5秒。
序列来源：
- 22个来自BVI-HFR。
- 5个来自UVG。
- 5个来自LIVE-YT-HFR。
内容多样性：
- 包含摄像机运动和无摄像机运动。
- 空间复杂度从低到高。
- 时间活动性从低到高。
内容多样性根据ITU-T P.910使用**空间信息（SI）和时间信息（TI）**进行表征。

编码表示

每个源视频使用**H.264 (x264)**编码器在固定的1080p分辨率下，基于现实的直播约束进行编码。

目标比特率：5, 7, 10, 15 Mbps。
帧率：30, 60, 120 fps。
每个源的表示总数：12。
处理后的视频总数：32 × 12 = 384个片段。

编码阶梯

比特率	帧率
5 Mbps	30 / 60 / 120 fps
7 Mbps	30 / 60 / 120 fps
10 Mbps	30 / 60 / 120 fps
15 Mbps	30 / 60 / 120 fps

FFmpeg编码命令

ffmpeg -f rawvideo -s:v 1920x1080 -r 120 -pix_fmt yuv420p -i input.yuv -r <fps> -c:v libx264 -preset fast -tune zerolatency -b:v <bitrate> -an output.mp4

帧率下转换通过丢帧实现。

主观研究

协议：带隐藏参考的单激励法。
评分尺度：连续质量尺度 [0–100]。
参与者：30名非专业受试者（剔除异常值后：26名有效）。
显示设备：120 Hz校准显示器。
观看距离：约1.5倍屏幕高度。

数据集关键发现

在固定比特率下，帧率显著影响感知质量。
比特率 × 帧率 × 内容之间存在强烈的交互作用。
在比特率不足时，更高的帧率可能会降低空间质量。
现有的视频质量评估（VQA）模型难以处理变化的帧率条件。

数据获取

测试视频：https://drive.google.com/file/d/1Rbe4d1smo-0uyu2ToLtJ27S5zH2lXhYx/view?usp=sharing
参考视频：https://drive.google.com/file/d/1PfeZLoEmiahCCGdChC6dJfYGhsRvjyso/view?usp=sharing

引用

bibtex @inproceedings{He2026HFRLS, title={Subjective Evaluation of Frame Rate in Bitrate-Constrained Live Streaming}, author={He, Jiaqi and Duanmu, Zhengfang and Ma, Kede}, booktitle={IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)}, year={2026} }

许可证

本数据集仅限研究用途。详细使用条款请参阅LICENSE文件。

搜集汇总

数据集介绍

构建方式

在实时流媒体领域，带宽限制迫使编码器在压缩强度与帧率之间进行权衡，而HFR-LS数据集的构建正是为了深入探究这一感知权衡。该数据集从BVI-HFR、UVG和LIVE-YT-HFR等公开资源中精选了32段120帧每秒的高质量源视频，统一转换为1080p分辨率并裁剪为5秒长度，以覆盖从静态到高动态的广泛内容范围。随后，采用H.264编码器，在固定分辨率下，将每个源视频编码为12种不同表示，这些表示通过交叉四个目标比特率（5、7、10和15 Mbps）与三个帧率（30、60和120 fps）生成，最终形成了包含384个处理视频的完整数据集。编码过程使用FFmpeg工具，并采用帧丢弃策略进行帧率下转换，以模拟实际流媒体环境中的比特率分配场景。

使用方法

HFR-LS数据集主要用于推动比特率受限实时流媒体领域的视频质量评估研究。研究人员可以借助该数据集分析不同比特率与帧率组合对感知质量的影响，尤其适用于探究压缩强度与帧率在带宽约束下的交互效应。数据集提供的差异平均意见分数可作为基准真值，用于训练或评估客观视频质量评估模型，特别是那些需要处理可变帧率与比特率权衡的模型。使用前，建议用户仔细阅读数据集文档，了解视频的编码参数与主观实验协议，以确保正确解读数据。在实际应用中，可将数据集划分为训练集与测试集，用于模型开发与性能验证；同时，其丰富的元数据（如时空信息指标）有助于进行细粒度的内容依赖性分析，为流媒体编码策略的优化提供实证依据。

背景与挑战

背景概述

随着云游戏、虚拟现实和高清视频会议等交互式视频应用的普及，对低延迟且高感知质量的实时流媒体需求日益增长。在带宽受限环境下，编码器必须在压缩强度、空间分辨率和帧率之间进行精细权衡，以优化视频质量。然而，现有高帧率数据集通常独立调整量化参数或分辨率，未能模拟真实流媒体中固定比特率分配的约束场景，导致压缩强度与帧率之间的感知权衡机制尚不明确。为此，香港城市大学与Netflix的研究人员于2026年共同创建了高帧率实时流媒体数据集HFR-LS，该数据集包含384段经过主观评分的1080p视频，系统化地探索了在多种目标比特率下压缩强度与帧率的交互效应。HFR-LS的建立填补了比特率约束流媒体领域的研究空白，为视频质量评估模型的优化提供了关键数据支撑。

当前挑战

HFR-LS数据集旨在解决比特率约束实时流媒体中视频质量评估的核心挑战，即如何在固定带宽下平衡压缩强度与帧率以最大化感知质量。这一领域问题的复杂性体现在帧率对质量的影响并非孤立存在，而是与比特率及视频内容动态交互，现有视频质量评估模型难以准确刻画此类多维权衡关系。在数据集构建过程中，研究团队面临多重挑战：首先，需在模拟真实流媒体场景下设计编码方案，即固定分辨率并系统交叉比特率与帧率，而非传统独立参数调整；其次，主观实验需严格控制观看条件，并采用单刺激隐参考协议以消除内容偏好偏差，同时确保参与者视觉敏锐度与色彩辨识能力符合标准；此外，视频内容需涵盖广泛时空动态范围，包括摄像机运动与静态场景，以全面反映帧率在不同内容类型下的感知差异。

常用场景

经典使用场景

在实时视频流传输领域，带宽限制迫使编码器必须在压缩强度与帧率之间做出权衡，而HFR-LS数据集正是为探究这一权衡的感知效果而设计。该数据集通过系统性地在多个目标码率下调整压缩强度与帧率，生成了384段经过主观评分的1080p视频，为研究码率受限环境下帧率对视觉质量的影响提供了标准化的实验平台。其经典使用场景集中于分析不同码率分配策略下，帧率变化如何与压缩失真相互作用，进而影响观看者的主观体验，为优化实时流媒体编码参数提供了实证基础。

解决学术问题

HFR-LS数据集主要解决了码率受限实时流媒体中压缩强度与帧率之间感知权衡的量化问题。传统高帧率数据集往往独立调整量化参数或空间分辨率，未能反映实际流媒体中固定码率下参数联合优化的现实约束。该数据集通过严谨的主观实验，揭示了帧率对感知质量的显著影响，并阐明了其与码率及视频内容的交互作用。这一工作填补了现有研究对码率感知帧率适应机制理解不足的空白，推动了视频质量评估模型向更贴合实际流媒体场景的方向发展。

实际应用

在实际应用层面，HFR-LS数据集为云游戏、虚拟现实和高清视频会议等低延迟高画质流媒体服务提供了关键的设计依据。基于该数据集的分析结果，流媒体平台能够制定更科学的编码阶梯，在给定带宽约束下智能分配码率于帧率与压缩强度之间，以优化终端用户的观看体验。例如，在动态复杂的视频内容中，适当提升帧率可增强运动流畅度；而在静态场景中，则可能优先保障空间细节。这种数据驱动的参数优化有助于提升服务质量和资源利用效率。

数据集最近研究