RequetDataSet

该数据集基于Craig Gutterman等人收集的数据生成，用于实时检测加密YouTube流量的QoE。数据集分为5个组文件夹，包含PCAP和txt文件，详细记录了每个实验的网络和播放信息。

This dataset is generated based on data collected by Craig Gutterman et al., designed for real-time detection of Quality of Experience (QoE) in encrypted YouTube traffic. The dataset is divided into five group folders, containing PCAP and txt files that meticulously document the network and playback information for each experiment.

原始信息汇总

RequetDataSet 数据集概述

数据集结构

• 总体结构：数据集分为5个组别文件夹（A, B1, B2, C, D）和一个全局摘要文件 ExperimentInfo.txt。
• 组别文件夹结构：每个组别文件夹包含两个子文件夹，分别存放PCAP文件和txt文件。

文件命名规则

• PCAP文件：分为两种类型：
  • baseline_{date}exp{num}.pcap：设备静态实验。
  • movement_{date}exp{num}.pcap：设备移动实验。
• txt文件：所有txt文件名以 merged.txt 结尾。

数据内容

• merged.txt 文件内容：记录每100ms间隔的数据，包括：
  • 相对时间
  • 发送和接收的包数
  • 发送和接收的字节数
  • 网络信息（最多25条）
  • 播放信息

网络信息格式

• 格式：[IP Src, IP Dst, Protocol, # Packets Sent, # Packets Received, # Bytes Sent, # Bytes Received]
• 记录规则：记录与设备IP地址（IP_Src）相关的最高数据量的前25个目标IP地址（IP_Dst）及其协议。

播放信息格式

• 格式：[Playback Event, Epoch Time, Start Time, Playback Progress, Video Length, Playback Quality, Buffer Health, Buffer Progress, Buffer Valid]
• Playback Event：四状态二进制数组，表示播放状态。
• Playback Quality：九状态二进制数组，表示视频播放质量。
• Buffer Health：缓冲区健康度，计算公式为：Buffer Health = Buffer Progress * Video Length - Playback Progress。

引用与联系

• 引用：使用此数据集的研究成果应引用论文 "Requet: Real-Time QoE Detection for Encrypted YouTube Traffic"。
• 联系：如有疑问，请联系 Craig Gutterman ([e-mail])。

搜集汇总

数据集介绍

构建方式

RequetDataSet数据集的构建基于对YouTube加密流量的实时QoE（Quality of Experience）检测研究，通过收集和整合YouTube API数据与PCAP网络流量数据来实现。数据集分为五个组别（A、B1、B2、C、D），每个组别包含PCAP文件和txt文件，分别记录了实验中的网络流量和YouTube API数据。PCAP文件根据终端设备是否移动分为'baseline'和'movement'两类，而txt文件则包含了每100毫秒间隔的详细数据，涵盖了网络信息和播放信息。

特点

该数据集的显著特点在于其高时间分辨率和多维数据结构。每100毫秒记录一次数据，确保了时间序列的精细度，适用于对实时性能的深入分析。数据集不仅包含了网络层面的详细信息，如源IP、目的IP、协议类型、数据包和字节数等，还整合了视频播放的详细状态，如播放事件、播放质量、缓冲健康等，为研究者提供了全面的QoE评估数据。

使用方法

使用RequetDataSet数据集时，研究者可以首先根据实验需求选择相应的组别和文件类型。PCAP文件可通过Wireshark等工具进行网络流量分析，而txt文件则提供了详细的API数据和网络摘要。通过解析txt文件中的时间序列数据，研究者可以分析视频播放过程中的网络行为和播放质量变化，进而评估用户的QoE体验。此外，数据集的结构化设计使得数据处理和分析更加高效和便捷。

背景与挑战

背景概述

RequetDataSet是由Craig Gutterman等研究人员在2019年ACM MMSys会议上提出的，旨在通过收集加密YouTube流量数据来实现实时QoE（Quality of Experience）检测。该数据集的核心研究问题是如何在加密流量中准确捕捉用户观看视频的体验质量，尤其是在网络条件动态变化的情况下。数据集的构建基于多个实验组（A、B1、B2、C、D），每个实验组包含PCAP文件和txt文件，记录了视频播放过程中的网络信息和播放状态。该数据集的发布对网络性能分析和用户体验优化领域具有重要意义，尤其在加密流量日益普及的背景下，为研究人员提供了宝贵的实验数据。

当前挑战

RequetDataSet在构建过程中面临多项挑战。首先，如何在加密流量中提取有用的网络信息是一个关键问题，因为加密技术使得传统的流量分析方法失效。其次，数据集需要捕捉视频播放过程中的动态变化，包括网络条件的变化和用户行为的变化，这对数据采集和处理提出了高要求。此外，数据集还需要处理不同分辨率、不同播放质量的视频，以及视频播放中的缓冲、暂停等事件，确保数据的全面性和准确性。最后，数据集的规模和复杂性也带来了存储和分析的挑战，如何高效地处理和分析这些数据是研究人员需要解决的问题。

常用场景

经典使用场景

RequetDataSet 数据集的经典使用场景主要集中在实时视频流质量检测与分析领域。通过该数据集，研究者能够深入分析加密YouTube流量在不同网络条件下的实时体验质量（QoE）。数据集中的PCAP文件和txt文件详细记录了视频播放过程中的网络信息和播放状态，使得研究者可以精确评估网络波动、设备移动等因素对视频播放质量的影响。

解决学术问题

该数据集解决了在加密流量环境下实时视频质量检测的学术难题。传统的QoE检测方法往往依赖于未加密的流量数据，而RequetDataSet通过结合YouTube API和PCAP数据，提供了一种在加密环境下进行QoE检测的新方法。这不仅推动了实时视频流质量检测技术的发展，还为未来的网络优化和用户体验提升提供了重要的理论基础。

衍生相关工作

基于RequetDataSet，许多相关研究工作得以展开。例如，有研究者利用该数据集开发了新的QoE预测模型，通过机器学习算法预测用户在不同网络条件下的视频观看体验。此外，还有研究聚焦于加密流量分析，提出了新的加密流量识别和分类方法。这些衍生工作不仅丰富了视频流质量检测领域的研究内容，还为实际应用提供了更多技术支持。