five

SynDrone|无人机视觉数据集|语义分割数据集

收藏
arXiv2023-08-21 更新2024-06-21 收录
无人机视觉
语义分割
下载链接:
https://github.com/LTTM/Syndrone
下载链接
链接失效反馈
资源简介:
SynDrone是一个专为城市场景设计的无人机多模态数据集,由帕多瓦大学信息工程系创建。该数据集包含72000个标注样本,涵盖多种飞行高度和视角,支持深度学习模型的有效训练。数据集内容包括高分辨率图像和3D数据,具有28个类别的像素级标注,适用于语义分割等任务。创建过程中使用了CARLA模拟器,确保数据的真实性和多样性。SynDrone的应用领域广泛,包括城市规划、交通监控和环境监测等,旨在解决无人机在复杂城市环境中的视觉理解问题。
提供机构:
帕多瓦大学信息工程系
创建时间:
2023-08-21
AI搜集汇总
数据集介绍
main_image_url
构建方式
SynDrone数据集通过利用CARLA模拟器生成,该模拟器基于Unreal Engine 4构建,提供了高质量的渲染和物理引擎支持。数据集包含了从多个飞行高度和视角采集的RGB图像、深度图和LiDAR数据,共计72,000个标注样本。这些数据被分为60,000个训练样本和12,000个测试样本,涵盖了28个语义类别,包括对象级别的边界框标注。通过模拟无人机在不同虚拟城镇中的飞行轨迹,数据集确保了场景的多样性和复杂性。
特点
SynDrone数据集的显著特点在于其多模态数据的集成,包括RGB图像、深度图和LiDAR数据,这些数据不仅提供了丰富的视觉信息,还支持多任务分析,如深度估计、导航和3D重建。此外,数据集在不同飞行高度和视角下采集数据,确保了训练模型在不同环境下的泛化能力。数据集还提供了像素级别的语义标注,适用于高级的像素级识别任务,如语义分割。
使用方法
SynDrone数据集适用于多种计算机视觉任务,包括语义分割、对象检测和实例跟踪。研究人员可以使用该数据集训练深度学习模型,通过提供的RGB图像、深度图和LiDAR数据进行多模态分析。数据集的标注信息,包括对象级别的边界框和像素级别的语义标签,为模型训练提供了丰富的监督信号。此外,数据集还支持合成数据到真实数据的迁移学习,通过在真实世界数据集上的测试,评估模型的泛化能力。
背景与挑战
背景概述
随着无人机(UAVs)在城市场景分析中的广泛应用,如交通监控、人口评估和城市绿化维护,计算机视觉算法的发展对高分辨率、标注丰富的无人机图像数据集的需求日益增加。然而,现有数据集在规模、场景多样性、采样率和类别标注方面存在显著局限,难以满足深度学习模型对大量训练数据的需求。为此,Padova大学的研究团队于2023年推出了SynDrone数据集,该数据集包含多模态、多高度和多视角的合成图像,提供了28个类别的像素级标注,旨在推动无人机图像理解算法的发展,特别是在语义分割任务中的应用。
当前挑战
SynDrone数据集面临的挑战主要包括:1) 合成数据与真实世界数据之间的域差异,这可能导致模型在真实场景中的性能下降;2) 数据集在构建过程中需要模拟多种飞行高度和视角,这增加了数据生成的复杂性和计算成本;3) 尽管数据集提供了丰富的标注,但如何有效地利用这些标注进行多任务学习,如对象检测和语义分割,仍然是一个开放的研究问题。此外,如何确保合成数据在不同应用场景中的泛化能力,也是该数据集未来需要解决的重要问题。
常用场景
经典使用场景
SynDrone数据集在无人机图像处理领域中,以其多模态和高分辨率特性,成为研究计算机视觉算法的重要资源。该数据集包含了从不同飞行高度和视角采集的图像及3D数据,特别适用于语义分割任务。通过提供像素级标注,SynDrone支持研究人员探索在复杂城市环境中进行精确分割的潜力,从而推动无人机在城市监控、交通管理和环境监测等应用中的发展。
衍生相关工作
基于SynDrone数据集,研究者们开发了多种先进的计算机视觉算法,特别是在无人机图像处理和城市环境分析领域。例如,一些研究利用SynDrone进行多模态数据融合,提升了语义分割的精度;另一些工作则探索了合成数据与真实数据之间的迁移学习,验证了SynDrone在提升模型泛化能力方面的潜力。这些衍生工作不仅推动了无人机技术的发展,也为其他领域的数据集构建和应用提供了参考。
数据集最近研究
最新研究方向
在无人机(UAV)图像处理领域,SynDrone数据集的最新研究方向主要集中在多模态数据融合和合成数据到真实数据的迁移学习。该数据集通过整合RGB图像、深度图和LiDAR数据,提供了丰富的多模态信息,使得研究者能够在语义分割、目标检测和3D场景理解等任务中探索多模态分析的潜力。此外,SynDrone数据集的合成性质使其成为研究合成数据到真实数据迁移学习的理想平台,通过在合成数据上训练模型并在真实世界数据上进行测试,研究者可以评估和提升模型的泛化能力。这些研究不仅推动了无人机图像处理技术的发展,也为城市环境中的无人机应用提供了新的可能性。
相关研究论文
  • 1
    SynDrone -- Multi-modal UAV Dataset for Urban Scenarios帕多瓦大学信息工程系 · 2023年
以上内容由AI搜集并总结生成
用户留言
有没有相关的论文或文献参考?
这个数据集是基于什么背景创建的?
数据集的作者是谁?
能帮我联系到这个数据集的作者吗?
这个数据集如何下载?
点击留言
数据主题
具身智能
数据集  4098个
机构  8个
大模型
数据集  439个
机构  10个
无人机
数据集  37个
机构  6个
指令微调
数据集  36个
机构  6个
蛋白质结构
数据集  50个
机构  8个
空间智能
数据集  21个
机构  5个
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集

AISHELL/AISHELL-1

Aishell是一个开源的中文普通话语音语料库,由北京壳壳科技有限公司发布。数据集包含了来自中国不同口音地区的400人的录音,录音在安静的室内环境中使用高保真麦克风进行,并下采样至16kHz。通过专业的语音标注和严格的质量检查,手动转录的准确率超过95%。该数据集免费供学术使用,旨在为语音识别领域的新研究人员提供适量的数据。

hugging_face 收录

Awesome JSON Datasets

一个精选的无需认证的JSON数据集列表。

github 收录

AgiBot World

为了进一步推动通用具身智能领域研究进展,让高质量机器人数据触手可及,作为上海模塑申城语料普惠计划中的一份子,智元机器人携手上海人工智能实验室、国家地方共建人形机器人创新中心以及上海库帕思,重磅发布全球首个基于全域真实场景、全能硬件平台、全程质量把控的百万真机数据集开源项目 AgiBot World。这一里程碑式的开源项目,旨在构建国际领先的开源技术底座,标志着具身智能领域 「ImageNet 时刻」已到来。AgiBot World 是全球首个基于全域真实场景、全能硬件平台、全程质量把控的大规模机器人数据集。相比于 Google 开源的 Open X-Embodiment 数据集,AgiBot World 的长程数据规模高出 10 倍,场景范围覆盖面扩大 100 倍,数据质量从实验室级上升到工业级标准。AgiBot World 数据集收录了八十余种日常生活中的多样化技能,从抓取、放置、推、拉等基础操作,到搅拌、折叠、熨烫等精细长程、双臂协同复杂交互,几乎涵盖了日常生活所需的绝大多数动作需求。

github 收录

网易云音乐数据集

该数据集包含了网易云音乐平台上的歌手信息、歌曲信息和歌单信息,数据通过爬虫技术获取并整理成CSV格式,用于音乐数据挖掘和推荐系统构建。

github 收录

THUCNews

THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成,包含74万篇新闻文档(2.19 GB),均为UTF-8纯文本格式。本次比赛数据集在原始新浪新闻分类体系的基础上,重新整合划分出14个候选分类类别:财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐。提供训练数据共832471条。

github 收录