遇见数据集

MDVD-108K

收藏
Hugging Face2026-08-13 更新2026-08-14 收录
官方服务:

资源简介:

MDVD-108K 是一个基于 VisDrone 数据集的无人机图像全能恢复与检测鲁棒性基准。该数据集包含 108,000 对合成退化样本,覆盖 12 种单一及复合退化类型(包括散焦、运动模糊、雾、雨、灰尘、低光照、雾-运动、雾-低光照、灰尘-运动、灰尘-低光照、雨-运动、雨-低光照),以及 500 张真实退化图像。数据划分为训练集(86,400 对)、验证集(10,800 对)、测试集(10,800 对)和真实集(500 张,无干净参考图像)。每个样本提供退化后的 512×512 图像(input)、干净的 512×512 参考图像(target,真实集为 null)、原始的 VisDrone 检测标注(annotation),以及样本 ID、分割、退化类型、源文件名、宽度和高度等元数据。数据集采用 Parquet 分片存储,支持流式加载、过滤和选择性下载,并保留了原始 JPEG 字节和 VisDrone 标注,无需重新压缩图像。

MDVD-108K is a benchmark for all-in-one restoration and detection robustness on UAV images, based on the VisDrone dataset. It contains 108,000 pairs of synthetic degraded samples covering 12 single and composite degradation types (including defocus blur, motion blur, haze, rain, dust, low light, haze-motion, haze-low light, dust-motion, dust-low light, rain-motion, rain-low light), as well as 500 real degraded images. The dataset is split into training set (86,400 pairs), validation set (10,800 pairs), test set (10,800 pairs), and real set (500 images without clean reference). Each sample provides a degraded 512×512 image (input), a clean 512×512 reference image (target, null for real set), original VisDrone detection annotations (annotation), and metadata such as sample ID, split, degradation type, source filename, width, and height. The dataset is stored in Parquet shards, supporting streaming loading, filtering, and selective downloading, while preserving the original JPEG bytes and VisDrone annotations without recompressing images.

创建时间:
2026-07-31
原始信息汇总

MDVD-108K 数据集概述

基本信息

  • 数据集名称: MDVD-108K
  • 数据集规模: 100K < n < 1M
  • 任务类型: 图像到图像转换(image-to-image)、目标检测(object-detection)
  • 标签: 图像、遥感、图像恢复、全能图像恢复、无人机、合成退化、复合退化
  • 来源: 基于VisDrone数据集扩展而成

数据集内容

MDVD-108K是一个基于VisDrone的无人机图像恢复与检测鲁棒性基准数据集,包含:

  • 108,000对合成样本,涵盖12种单一及复合退化类型
  • 500张真实退化图像

退化类型

合成分割覆盖以下12种退化:

  • 单一退化:失焦(defocus)、运动模糊(motion)、雾(fog)、雨(rain)、灰尘(dust)、低光(lowlight)
  • 复合退化:雾-运动、雾-低光、灰尘-运动、灰尘-低光、雨-运动、雨-低光

数据结构

数据划分

划分 成对样本数 真实样本数
train 86,400 0
validation 10,800 0
test 10,800 0
real 0 500

每行数据字段

  • input: 退化后的512×512图像
  • target: 清晰512×512参考图像(real分割中为null)
  • annotation: 原始VisDrone检测标注
  • sample_id, split, degradation, source_filename, width, height

发布与存储格式

  • 数据以容量受限的Parquet分片形式发布,支持Hugging Face Dataset Viewer、流式读取、过滤和选择性下载
  • 保留原始JPEG字节和VisDrone标注,不进行图像重新压缩
  • 旧的样本对齐WebDataset布局可在webdataset-v2标签下获取

使用方式

流式加载

python from datasets import load_dataset

dataset = load_dataset("zzaiyan/MDVD-108K", split="train", streaming=True) sample = next(iter(dataset))

下载数据

  • 完整下载:hf download zzaiyan/MDVD-108K --repo-type dataset --local-dir MDVD-108K
  • 选择性下载指定划分或退化类型:支持使用--include参数按路径筛选
  • 解包工具:python tools/unpack_mdvd_parquet.py MDVD-108K /path/to/MDVD-108K-extracted,可恢复传统目录结构
  • 完整性验证:通过SHA256SUMS文件使用sha256sum --check SHA256SUMS命令校验

辅助文件

  • MANIFEST.csv:记录分片大小和样本数量
  • ANNOTATION_FORMAT.md:标注字段说明及YOLO/COCO转换工具文档
搜集汇总
数据集介绍
MDVD-108K 数据集图片
构建方式
MDVD-108K数据集基于VisDrone基准构建,旨在支持无人机图像的全能恢复与检测鲁棒性研究。该数据集通过合成退化方式生成108,000对训练样本,涵盖12种单一及复合退化类型,如散焦、运动模糊、雾、雨、灰尘、低光照及其组合。每对样本包含退化输入图像、清晰参考图像及原始VisDrone检测标注,确保数据的一致性和可追溯性。数据集采用容量受限的Parquet分片存储,避免了海量小文件,同时支持Hugging Face数据查看器、流式加载及选择性下载,且原始JPEG字节与标注信息无压缩保留。
使用方法
使用MDVD-108K数据集时,可通过Hugging Face Datasets库直接加载,设置streaming=True可进行流式迭代,适用于大规模训练;移除该参数则生成本地Arrow数据集以支持随机访问。对于需要完整数据集的场景,可使用hf download命令下载全部数据,或通过--include参数按split或退化类型选择性下载,节省存储与带宽。若现有代码依赖传统文件结构,可运行tools/unpack_mdvd_parquet.py脚本解包Parquet文件,生成按退化类型组织的图像与标注目录。同时,MANIFEST.csv与SHA256SUMS文件支持数据完整性验证,ANNOTATION_FORMAT.md提供标注格式说明及YOLO/COCO转换工具,便于直接用于检测任务。
背景与挑战
背景概述
MDVD-108K数据集由zzaiyan等研究人员于近年构建,旨在填补无人机(UAV)航拍图像在复杂退化条件下联合恢复与检测领域的空白。该数据集基于VisDrone基准,精心构建了108,000对合成样本,涵盖12种单一及复合退化类型(如雾、雨、运动模糊等),并包含500张真实退化图像,为多任务学习提供了大规模、多样化的实验平台。其发布采用容量受限的Parquet分片格式,支持流式加载与选择性下载,极大提升了数据获取的便捷性与可扩展性。自发布以来,MDVD-108K已成为无人机图像复原与目标检测鲁棒性研究的重要基准,推动了该领域向实战化、复杂场景方向的深入发展。
当前挑战
MDVD-108K所应对的核心挑战在于无人机航拍图像在真实环境下常遭遇多重叠加退化(如雾与运动模糊、雨与低光照等),而现有单一退化复原方法难以有效处理复杂耦合的降质过程,更遑论在复原后保持检测任务的精度。构建过程中面临诸多技术难题:需精确合成物理上合理的复合退化效果,确保与真实场景分布一致性;大规模配对数据的生成需平衡质量与效率,避免图像重压缩引入额外失真;同时,数据集的存储与发布需兼顾海量样本的规模与用户下载的便捷性,最终采用Parquet分片方案才得以解决。这些挑战使得MDVD-108K在数据多样性、真实性和可用性上均达到了较高标准。
常用场景
经典使用场景
MDVD-108K作为面向无人航空器(UAV)遥感影像的一体化复原与检测鲁棒性基准,其核心应用在于多退化条件下的图像复原与目标检测联合任务。该数据集精心构建了12种单一及复合退化类型,涵盖模糊、雾霾、雨尘、低光照等多类环境干扰,为科研人员提供了大规模、成对的高质量训练与评估样本。借助该基准,研究者能够系统训练并验证端到端复原-检测模型,深入探索复杂退化场景下视觉感知的稳定性与精度,推动UAV视觉系统在非理想条件下的智能感知能力迈向新台阶。
解决学术问题
该数据集直面了真实UAV航拍图像中多重退化交织导致的检测性能骤降这一核心学术瓶颈。传统方法往往针对单一退化设计专用算法,难以应对实际场景中多种退化同时出现的复杂情况。MDVD-108K通过提供统一的大规模合成退化样本,首次使研究者能够在同一框架下开展多任务联合学习,解决了跨退化泛化能力不足、训练数据匮乏以及评测标准缺失等关键难题。其发布为探索图像复原与目标检测之间的协同增益提供了坚实的数据基础,极大地促进了鲁棒视觉感知理论的发展。
实际应用
在实际应用层面,MDVD-108K为无人机巡检、灾害监测、智能交通管理及安防监控等高价值场景提供了直接的技术支撑。由于UAV常在恶劣天气或光照不足等条件下执行任务,其影像质量严重受损,进而影响自动目标识别与决策。利用该数据集训练的模型,可在低能见度、运动模糊等复杂环境下有效增强图像可读性,并准确检测车辆、行人、建筑等关键目标,从而提升搜救效率、交通监控精度及公共安全预警能力,具有重要的工程转化价值。
数据集最近研究
最新研究方向
针对无人机视觉感知在复杂环境下的稳健性挑战,MDVD-108K数据集应运而生,成为全栈式图像复原与检测一体化研究的关键基石。该数据集基于VisDrone构建,包含108,000对合成退化样本,覆盖12种单一及复合退化类型,并辅以500幅真实退化图像,为多任务学习模型提供了规模空前的训练与评估平台。其前沿研究聚焦于联合图像复原与目标检测的鲁棒性提升,探索在雾霾、运动模糊、低光照等复合退化条件下,模型如何通过端到端学习实现感知增强与语义理解协同优化。该数据集的发布不仅推动了无人机视觉系统在恶劣天气下的实用化进程,还促进了高效数据存储与流式处理范式在遥感领域的落地,对智慧城市、灾害救援及环境监测等热点应用具有深远影响。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务