mitmprobe_validation_dataset

用于mitmprobe实验的验证脚本和数据集，包含多种条件下的测量数据，如使用代理和不使用代理的情况，数据以JSON格式存储，记录了视频质量变化等详细信息。

The validation scripts and dataset for the mitmprobe experiment, encompassing measurement data under various conditions, such as scenarios with and without the use of proxies. The data, stored in JSON format, meticulously records detailed information including variations in video quality.

原始信息汇总

数据集概述

数据集名称

Validation Experiment MITMProbe

数据集下载

数据集可通过以下链接下载：https://doi.org/10.5281/zenodo.571752

数据集结构

数据集包含多个视频的测量结果，每个视频在不同条件下（有无代理）进行32次重复测量。具体结构如下：

• 每个视频对应一个文件夹，例如third_2k。
• 每个文件夹下有两个子文件夹：
  • with_proxy：包含32次使用代理的测量结果。
  • without_proxy：包含32次未使用代理的测量结果。

数据集文件格式

每个子文件夹中的测量结果以JSON格式存储，文件名格式为：

• TIMESTAMP-NODENAME-video-YOUTUBEVIDEO-[active_probe,analyzed,meta].json
  • *active_probe：包含主动探测客户端收集的信息（如停滞、质量变化等）。
  • *analyzed：总结了中间人探测报告（仅在使用代理的测量中可用）。
  • *meta：包含特定YouTube视频的元数据。

数据集分析

提供了一个IPython3笔记本作为分析的起点：

• comparison_analysis.ipynb

引用信息

若使用此数据集，请引用以下文献：

@INPROCEEDINGS{7965640, author={Steve Göring and Alexander Raake and Bernhard Feiten}, booktitle={2017 Ninth International Conference on Quality of Multimedia Experience (QoMEX)}, title={A framework for QoE analysis of encrypted video streams}, year={2017}, pages={1-3}, doi={10.1109/QoMEX.2017.7965640}, month={May} }

搜集汇总

数据集介绍

构建方式

mitmprobe_validation_dataset数据集的构建以实验验证的形式开展，针对每个视频和每种条件，执行了32次重复的测量，分别在不使用代理和使用代理的情况下进行。数据集包含了对应测量条件的文件夹，每个文件夹内部又有多个测量文件，这些文件记录了主动探测客户端收集的信息、中间人探测报告的摘要以及特定YouTube视频的元数据，构建过程中为减小文件体积，未存储加密的pcap文件。

特点

本数据集的特点在于其对视频流质量体验（QoE）的加密视频流分析框架的实证研究支持。数据集提供了丰富的测量结果，包括无代理和有代理情况下的视频性能指标，为研究者提供了直接比较两种条件下的网络行为和视频质量变化的可能性。此外，数据集的结构化存储方式便于进行复现和分析。

使用方法

使用mitmprobe_validation_dataset数据集时，用户首先需要下载并解压数据集，置于克隆仓库的文件夹中。通过分析提供的ipython3笔记本文件，用户可以开始对数据集进行分析。数据集包含的json文件记录了详细的测量信息，可供研究者进行进一步的比较分析和质量评估研究。

背景与挑战

背景概述

MITMProbe验证数据集是网络质量体验（QoE）研究领域的一项重要成果，由Steve Göring、Alexander Raake和Bernhard Feiten等研究人员于2017年在第九届国际多媒体体验质量会议（QoMEX）上发表。该数据集旨在为分析加密视频流的质量体验提供一种框架，通过对比在无代理和有代理条件下对YouTube视频的多次测量，以探究网络代理对视频播放质量的影响。该数据集的创建对加密视频流的QoE分析领域产生了显著影响，为后续研究提供了宝贵的数据资源。

当前挑战

数据集构建过程中，研究人员面临着诸多挑战。首先，如何在保证隐私和安全的前提下，对加密视频流进行有效的质量评估，是一个技术难题。其次，数据集构建过程中，如何确保测量的一致性和重复性，以保证数据的可靠性，也是一个关键挑战。此外，数据集的存储和传输效率问题，如避免存储加密的pcap文件以减少文件大小，也是构建过程中需要考虑的。在研究领域问题方面，该数据集解决了如何在存在网络代理的情况下，准确评估和比较视频质量的问题。

常用场景

经典使用场景

MITMProbe验证数据集是网络质量体验（QoE）分析领域的重要资源，其经典使用场景在于评估加密视频流在网络代理条件下的性能表现。该数据集提供了无代理和有代理条件下的视频流量测量数据，使得研究者能够对比分析视频质量在遭受中间人攻击时的变化，进而评估网络安全机制对用户体验的影响。

实际应用

在实际应用中，MITMProbe验证数据集可被网络服务提供商和安全机构用于测试和优化其视频传输服务的安全性和稳定性。通过对该数据集的分析，可以指导实际网络环境的配置，提高用户在观看加密视频内容时的体验质量，同时增强对网络攻击的防御能力。

衍生相关工作

基于MITMProbe验证数据集，研究者已开展了一系列相关工作，如加密视频流的QoE分析框架构建、网络攻击检测方法的改进、以及视频传输安全协议的优化等。这些工作不仅推动了网络质量体验领域的科学研究，也为网络安全技术的发展提供了新的视角和方法论。