five

GauU-Scene V2|场景重建数据集|多模态数据数据集

收藏
arXiv2024-04-13 更新2024-08-06 收录
场景重建
多模态数据
下载链接:
http://arxiv.org/abs/2404.04880v2
下载链接
链接失效反馈
资源简介:
GauU-Scene V2是由香港中文大学(深圳)创建的大型多模态场景重建基准数据集,覆盖面积超过6.5平方公里,包含全面的RGB数据和LiDAR地面实况。该数据集通过高精度LiDAR和无人机搭载的高分辨率相机收集,旨在解决大规模户外场景的3D重建问题。数据集的创建过程中,提出了一种LiDAR和图像对齐方法,以解决无人机数据集中的坐标系统差异问题。GauU-Scene V2的应用领域包括城市规划、虚拟现实和增强现实,通过评估不同视角下的图像质量,揭示了当前基于图像的度量标准在几何重建中的局限性。
提供机构:
香港中文大学(深圳)
创建时间:
2024-04-07
AI搜集汇总
数据集介绍
main_image_url
构建方式
GauU-Scene V2 数据集采用 DJI Matrice 300 无人机搭载 Zenmuse L1 LiDAR 设备进行数据采集。数据集包含 6 个真实场景,包括校园、现代建筑、村庄、住宅、俄罗斯建筑和学院,覆盖面积超过 6.5 平方公里。数据集采用 COLMAP 格式存储相机位置和图像,并包含 LiDAR 点云数据,点云数据以 WGS 84/UTM 50N 坐标系存储。为了解决 LiDAR 点云和图像数据坐标系不一致的问题,数据集提出了一种基于统计尺度匹配的 LiDAR 和图像对齐方法。
特点
GauU-Scene V2 数据集具有以下特点:1) 规模大,覆盖面积超过 6.5 平方公里,包含数千张图像和数亿个点云数据点;2) 多模态,包含 RGB 图像和 LiDAR 点云数据,可以用于 3D 场景重建和几何重建任务;3) 高精度,LiDAR 数据精度高,可用于 3D 场景重建和几何重建任务的评估;4) 高质量,数据采集过程中采用了双回波技术去除运动物体,并控制飞行高度和光照条件,保证了数据质量。
使用方法
GauU-Scene V2 数据集可用于 3D 场景重建和几何重建任务的评估。用户可以使用数据集中的图像和点云数据作为训练数据和测试数据,评估 3D 场景重建和几何重建方法的性能。数据集还提供了详细的预处理方法和坐标系对齐方法,方便用户使用。
背景与挑战
背景概述
GauU-Scene V2 数据集是由香港中文大学深圳校区的研究团队于 2024 年创建的,旨在评估基于图像的指标在三维场景重建中的可靠性。该数据集涵盖了超过 6.5 平方公里的区域,并包含了丰富的 RGB 数据集和激光雷达地面真实数据。GauU-Scene V2 数据集是首个提出无人机激光雷达和图像对齐方法的数据集,这为构建多模态数据集和进行几何对齐测量提供了关键支持。该数据集的创建对于评估几何重建任务具有重要意义,并对相关领域产生了深远的影响。
当前挑战
GauU-Scene V2 数据集的研究背景主要集中在城市规模的场景重建方面。现有的城市规模数据集存在一些局限性,例如缺乏点云或网格数据的精确地面真实数据,或者侧重于场景理解而非重建。为了克服这些挑战,GauU-Scene V2 数据集采用了 DJI Matrice 300 无人机和 Zenmuse L1 激光雷达来捕获高精度的 3D RGB 点云数据。此外,该数据集还面临着无人机数据集特有的挑战,即点云和图像数据集之间坐标系统的差异。为了解决这个问题,研究团队提出了一种简单而有效的方法来对齐 SfM 相机位置和激光雷达数据点。此外,GauU-Scene V2 数据集还面临着图像和激光雷达数据集之间的对齐问题,这限制了点云或图像数据的使用。为了解决这个问题,研究团队提出了一种简单而有效的方法来对齐 SfM 相机位置和激光雷达数据点。
常用场景
经典使用场景
GauU-Scene V2数据集是一个多模态的大规模场景重建基准,它利用了新开发的3D表示方法:高斯散点图和神经辐射场 (NeRF)。该数据集涵盖了超过6.5平方公里的区域,并具有完整的RGB数据集,以及激光雷达地面真实数据。此外,我们是第一个为基于无人机的数据集提出激光雷达和图像对齐方法的研究团队。我们的评估包括在各种新颖的观点下进行的详细分析,使用基于图像的指标,如SSIM、LPIPS和PSNR,对NeRF和高斯散点图进行评估。这项分析揭示了在应用几何指标,如Chamfer距离时,结果的矛盾性。在我们多模态数据集上的实验结果表明,当前基于图像的指标不可靠,并揭示了当前高斯散点图方法在几何重建方面的重大缺陷,进一步说明了我们的数据集在评估几何重建任务中的必要性。
解决学术问题
GauU-Scene V2数据集解决了当前基于图像的指标无法充分测量3D模型底层几何的问题。通过使用高精度激光雷达和相机捕获的多模态信息,该数据集提供了可靠的3D点云作为地面真实数据,可以用于测量3D几何对齐的质量。此外,该数据集还解决了现有城市规模数据集缺乏准确地面真实数据的问题,并提供了超过6.5平方公里的大规模数据集,为城市规模室外场景重建提供了支持。
衍生相关工作
GauU-Scene V2数据集的发布促进了3D重建和大规模环境地图领域的相关工作。例如,该数据集可以用于评估和比较不同的3D重建方法,例如SuGaR、Vanilla Gaussian Splatting、InstantNGP和NeRFacto。此外,该数据集还可以用于开发新的3D重建算法,以解决当前高斯散点图方法在底层几何对齐方面的缺陷。
以上内容由AI搜集并总结生成
用户留言
有没有相关的论文或文献参考?
这个数据集是基于什么背景创建的?
数据集的作者是谁?
能帮我联系到这个数据集的作者吗?
这个数据集如何下载?
点击留言
数据主题
具身智能
数据集  4099个
机构  8个
大模型
数据集  439个
机构  10个
无人机
数据集  37个
机构  6个
指令微调
数据集  36个
机构  6个
蛋白质结构
数据集  50个
机构  8个
空间智能
数据集  21个
机构  5个
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集

中国劳动力动态调查

“中国劳动力动态调查” (China Labor-force Dynamics Survey,简称 CLDS)是“985”三期“中山大学社会科学特色数据库建设”专项内容,CLDS的目的是通过对中国城乡以村/居为追踪范围的家庭、劳动力个体开展每两年一次的动态追踪调查,系统地监测村/居社区的社会结构和家庭、劳动力个体的变化与相互影响,建立劳动力、家庭和社区三个层次上的追踪数据库,从而为进行实证导向的高质量的理论研究和政策研究提供基础数据。

中国学术调查数据资料库 收录

China Health and Nutrition Survey (CHNS)

China Health and Nutrition Survey(CHNS)是一项由美国北卡罗来纳大学人口中心与中国疾病预防控制中心营养与健康所合作开展的长期开放性队列研究项目,旨在评估国家和地方政府的健康、营养与家庭计划政策对人群健康和营养状况的影响,以及社会经济转型对居民健康行为和健康结果的作用。该调查覆盖中国15个省份和直辖市的约7200户家庭、超过30000名个体,采用多阶段随机抽样方法,收集了家庭、个体以及社区层面的详细数据,包括饮食、健康、经济和社会因素等信息。自2011年起,CHNS不断扩展,新增多个城市和省份,并持续完善纵向数据链接,为研究中国社会经济变化与健康营养的动态关系提供了重要的数据支持。

www.cpc.unc.edu 收录

HazyDet

HazyDet是由解放军工程大学等机构创建的一个大规模数据集,专门用于雾霾场景下的无人机视角物体检测。该数据集包含383,000个真实世界实例,收集自自然雾霾环境和正常场景中人工添加的雾霾效果,以模拟恶劣天气条件。数据集的创建过程结合了深度估计和大气散射模型,确保了数据的真实性和多样性。HazyDet主要应用于无人机在恶劣天气条件下的物体检测,旨在提高无人机在复杂环境中的感知能力。

arXiv 收录

flames-and-smoke-datasets

该仓库总结了多个公开的火焰和烟雾数据集,包括DFS、D-Fire dataset、FASDD、FLAME、BoWFire、VisiFire、fire-smoke-detect-yolov4、Forest Fire等数据集。每个数据集都有详细的描述,包括数据来源、图像数量、标注信息等。

github 收录

海天瑞声-超大规模中文多领域高质量多轮对话语料库

这是一个符合中国人表达习惯的自然对话数据集,共计约1,0000,000轮,上亿级token,包含正式&非正式风格对话,使用偏口语化自然表达。覆盖工作、生活、校园等场景,及金融、教育、娱乐、体育、汽车、科技等领域。在数据集构成上,DOTS-NLP-216包含了对真实场景的对话采集,及高度还原真实场景的模拟对话这两种方式,兼顾分布的代表性、多样性和样本规模。

魔搭社区 收录