CNN dataset, LGBM dataset

CNN数据集：用于CNN模型训练的数据集。LGBM数据集：用于LGBM模型训练的数据集。

CNN Dataset: A dataset for training CNN models. LGBM Dataset: A dataset for training LGBM models.

原始信息汇总

数据集下载

• CNN数据集: 下载链接: https://pan.baidu.com/s/1K52HIhc6FwPvKmPzLRJQRA, 提取码: cd5c
• LGBM数据集: 下载链接: https://pan.baidu.com/s/1RQ1xkmy1t93i8i7U_LVZdQ, 提取码: gfag

文件夹说明

• codec: 包含VTM-13.0的源文件和可执行文件，实现了提出的快速算法。
• encoding_test_v13: 包含测试提出的快速算法性能的脚本。
• src: 包含CNN和LGBM模型训练的文件。
• test_sequences: 用于存放测试序列。

如何训练CNN模型

1. 设置CNN数据集的存储路径：

   cnn_engin.py

   self.data_args.root_dir = ./ # 存储CNN数据集的根目录

   load_data_cnn.py

   img_dir = os.path.join(root_dir, images) # 存储图像数据的目录 pickle_dir = os.path.join(root_dir, pickles) # 存储pickles的目录

2. 设置GPU、日志路径和训练参数：

   cnn_engine.py

   self.basic_args.date = "1210" self.basic_args.log_index = 0

   用于确定存储训练数据和模型的路径

   例如: log/1210/MyNet/0/

3. 运行 cnn_engine.py

如何训练LGBM模型

1. 设置LGBM数据集和模型的存储路径：

   train_lgbm.ipynb

   pkl_dir = "parquets_lgbm" # 存储parquets的目录 save_dir = "scripts/lgbm_scripts" # 存储LGBM模型的目录

2. 运行 train_lgbm.ipynb

如何测试编码性能

使用位于 encoding_test_v13 文件夹下的脚本 test_script.bat 进行测试。

搜集汇总

数据集介绍

构建方式

在构建CNN数据集和LGBM数据集时，研究者采用了多模态融合的方法，以提升VVC（Versatile Video Coding）帧内编码的效率。具体而言，CNN数据集通过收集和处理图像数据，将其存储于指定的图像目录和pickle文件中，以便于后续的模型训练。而LGBM数据集则通过处理和存储parquet文件，为训练轻量级梯度提升机模型提供数据支持。这两种数据集的构建均旨在为多模型融合策略提供坚实的基础数据。

特点

CNN数据集和LGBM数据集的主要特点在于其针对VVC帧内编码优化的设计。CNN数据集包含了丰富的图像数据，通过深度学习模型进行特征提取和分类，以实现高效的编码分区。LGBM数据集则侧重于提供结构化的数据，通过梯度提升机模型进行快速且准确的预测。这两种数据集的结合，不仅提升了编码效率，还增强了模型的泛化能力。

使用方法

使用CNN数据集进行模型训练时，用户需指定数据集的根目录，并设置GPU、日志路径及训练参数，随后运行cnn_engine.py脚本。对于LGBM数据集，用户需指定数据集和模型的存储路径，并通过运行train_lgbm.ipynb脚本进行模型训练。在完成模型训练后，用户可以通过encoding_test_v13文件夹中的test_script.bat脚本，对编码性能进行测试，以评估模型的实际效果。

背景与挑战

背景概述

在视频编码领域，高效的分区策略对于提升视频编码效率至关重要。本数据集，即CNN dataset和LGBM dataset，是为支持论文《Efficient QTMT Partitioning for VVC Intra-Frame Coding via Multi-Model Fusion》而创建的。该论文由一支专注于视频编码技术的研究团队开发，旨在通过多模型融合技术优化VVC（Versatile Video Coding）标准中的帧内编码分区策略。数据集的创建时间为论文发表前后，主要研究人员或机构未明确提及，但其核心研究问题在于通过深度学习和机器学习模型提升视频编码的效率和质量。这一研究对视频编码领域具有显著的推动作用，尤其是在新一代视频编码标准VVC的应用和优化方面。

当前挑战

构建CNN dataset和LGBM dataset过程中，研究团队面临的主要挑战包括数据集的多样性和质量保证。首先，视频编码数据集需要涵盖广泛的场景和复杂度，以确保模型的泛化能力。其次，数据集的标注和预处理过程需高度精确，以避免引入噪声或偏差，影响模型的训练效果。此外，多模型融合技术的实现也带来了技术上的挑战，如模型间的协同优化和计算资源的有效分配。这些挑战不仅影响了数据集的构建质量，也对后续的研究和应用提出了更高的要求。

常用场景

经典使用场景

在视频编码领域，CNN dataset和LGBM dataset被广泛应用于高效QTMT分割的VVC帧内编码中。通过多模型融合技术，这些数据集能够显著提升视频编码的效率和质量。具体而言，CNN dataset用于训练卷积神经网络模型，以预测视频帧的分割模式；而LGBM dataset则用于训练轻量级梯度提升机模型，以优化编码参数的选择。这种结合深度学习和传统机器学习的方法，为视频编码提供了更为精确和高效的解决方案。

衍生相关工作

基于这些数据集，研究者们进一步开展了多项相关工作。例如，有研究提出了结合CNN和LGBM模型的混合编码框架，以进一步提升编码效率和视频质量。此外，还有工作探讨了如何在不同视频场景下自适应地选择和调整模型参数，以实现最佳的编码效果。这些衍生工作不仅丰富了视频编码领域的研究内容，也为实际应用提供了更多可行的技术方案。

数据集最近研究

最新研究方向

在视频编码领域，最新的研究方向集中在通过多模型融合技术提升VVC（Versatile Video Coding）帧内编码的效率。特别是，结合卷积神经网络（CNN）和轻量级梯度提升机（LGBM）的数据集，研究者们致力于开发高效的快速算法，以优化视频编码中的QTMT（Quad-Tree plus Multi-Type Tree）分区策略。这种融合模型不仅提高了编码速度，还显著降低了计算复杂度，为实时视频处理和高清视频传输提供了新的可能性。