five

V2X-Radar|自动驾驶数据集|多模态数据数据集

收藏
arXiv2024-11-17 更新2024-11-20 收录
自动驾驶
多模态数据
下载链接:
http://openmpd.com/column/V2X-Radar
下载链接
链接失效反馈
资源简介:
V2X-Radar是由清华大学车辆与运载学院创建的第一个大规模真实世界多模态数据集,专注于合作感知中的4D雷达数据。该数据集包含20K LiDAR帧、40K摄像头图像和20K 4D雷达数据,涵盖了晴天、雨天等多种天气条件和白天、黄昏、夜晚等不同时间段。数据集通过连接车辆平台和智能路边单元收集,经过精心筛选和标注,包含350K个标注的3D边界框,涵盖五类目标。V2X-Radar数据集分为三个子集:V2X-Radar-C用于合作感知,V2X-Radar-I用于路边感知,V2X-Radar-V用于单车辆感知,旨在解决自动驾驶中的遮挡和感知范围有限的问题。
提供机构:
清华大学车辆与运载学院
创建时间:
2024-11-17
AI搜集汇总
数据集介绍
main_image_url
构建方式
V2X-Radar数据集通过连接车辆平台和智能路边单元进行采集,这些平台配备了4D雷达、激光雷达(LiDAR)和多视角摄像头。数据采集涵盖了多种天气条件,包括晴天和雨天,以及不同时间段,如白天、黄昏和夜晚。数据集包括20,000帧激光雷达数据、40,000张摄像头图像和20,000帧4D雷达数据,总计350,000个标注的3D边界框,涵盖五个类别。数据集被细分为三个子集:V2X-Radar-C用于合作感知,V2X-Radar-I用于路边感知,V2X-Radar-V用于单车辆感知。
特点
V2X-Radar数据集的主要特点是其多模态性和真实世界数据的广泛覆盖。它包含了三种传感器类型:激光雷达、摄像头和4D雷达,这使得研究者可以探索不同传感器在合作感知中的作用。此外,数据集涵盖了多种天气和时间条件,以及具有挑战性的交叉口场景,提供了丰富的环境感知数据。
使用方法
V2X-Radar数据集可用于多种研究任务,包括单车辆和路边的3D物体检测,以及车辆与基础设施之间的合作3D物体检测。研究者可以使用该数据集来开发和评估新的感知算法,特别是在合作感知和多模态数据融合方面。数据集还提供了详细的基准测试结果,帮助研究者比较不同方法的性能。
背景与挑战
背景概述
V2X-Radar数据集是由清华大学车辆与运载学院、中国矿业大学、北京交通大学、字节跳动和南洋理工大学联合开发的首个大规模真实世界多模态数据集,专注于合作感知领域。该数据集于2024年发布,主要研究人员包括Lei Yang、Xinyu Zhang、Jun Li等。V2X-Radar数据集的核心研究问题是如何在自动驾驶中利用4D雷达进行合作感知,以克服单车辆感知中的遮挡和感知范围限制。该数据集的发布填补了合作感知领域中4D雷达数据集的空白,对提升自动驾驶系统的安全性和鲁棒性具有重要意义。
当前挑战
V2X-Radar数据集在构建过程中面临多重挑战。首先,数据集需要解决多模态传感器(如4D雷达、激光雷达和摄像头)的同步问题,确保时间和空间维度上的数据一致性。其次,数据集在不同天气条件(如晴天、雨天)和不同时间段(如白天、黄昏、夜晚)下的数据采集,增加了数据处理的复杂性。此外,数据集还需要应对合作感知中的遮挡和感知范围限制问题,确保在复杂交通场景中的有效性。最后,数据集的标注工作涉及大量3D边界框的生成和校准,确保标注的准确性和一致性。
常用场景
经典使用场景
V2X-Radar数据集在自动驾驶领域中被广泛应用于合作感知任务。其经典使用场景包括车辆与基础设施之间的协同3D物体检测,通过整合车载和路侧的4D雷达、激光雷达和多视角摄像头数据,实现对环境的全方位感知。这种多模态数据的融合不仅扩展了感知范围,还增强了在恶劣天气条件下的感知能力,从而显著提升了自动驾驶系统的安全性和可靠性。
衍生相关工作
基于V2X-Radar数据集,研究者们开发了多种先进的合作感知算法和系统。例如,F-Cooper和V2X-ViT等方法通过融合多模态数据,显著提升了3D物体检测的精度和鲁棒性。此外,CoAlign和HEAL等框架进一步探索了如何在存在通信延迟和定位误差的情况下,实现高效的合作感知。这些工作不仅丰富了自动驾驶领域的研究内容,还为未来的技术发展提供了宝贵的经验和参考。
数据集最近研究
最新研究方向
在自动驾驶领域,V2X-Radar数据集的最新研究方向主要集中在多模态传感器融合和协同感知技术的提升。该数据集通过整合4D雷达、激光雷达(LiDAR)和多视角摄像头数据,旨在解决自动驾驶车辆在复杂环境中的感知难题,特别是在恶劣天气条件下的鲁棒性问题。研究者们正致力于开发新的算法,以更有效地融合这些传感器的数据,从而提高目标检测的准确性和可靠性。此外,数据集的多样性和真实性也为研究提供了丰富的场景和挑战,推动了协同感知技术在实际应用中的发展。
相关研究论文
  • 1
    V2X-Radar: A Multi-modal Dataset with 4D Radar for Cooperative Perception清华大学车辆与运载学院 · 2024年
以上内容由AI搜集并总结生成
用户留言
有没有相关的论文或文献参考?
这个数据集是基于什么背景创建的?
数据集的作者是谁?
能帮我联系到这个数据集的作者吗?
这个数据集如何下载?
点击留言
数据主题
具身智能
数据集  4098个
机构  8个
大模型
数据集  439个
机构  10个
无人机
数据集  37个
机构  6个
指令微调
数据集  36个
机构  6个
蛋白质结构
数据集  50个
机构  8个
空间智能
数据集  21个
机构  5个
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集

学生课堂行为数据集 (SCB-dataset3)

学生课堂行为数据集(SCB-dataset3)由成都东软学院创建,包含5686张图像和45578个标签,重点关注六种行为:举手、阅读、写作、使用手机、低头和趴桌。数据集覆盖从幼儿园到大学的不同场景,通过YOLOv5、YOLOv7和YOLOv8算法评估,平均精度达到80.3%。该数据集旨在为学生行为检测研究提供坚实基础,解决教育领域中学生行为数据集的缺乏问题。

arXiv 收录

中国食物成分数据库

食物成分数据比较准确而详细地描述农作物、水产类、畜禽肉类等人类赖以生存的基本食物的品质和营养成分含量。它是一个重要的我国公共卫生数据和营养信息资源,是提供人类基本需求和基本社会保障的先决条件;也是一个国家制定相关法规标准、实施有关营养政策、开展食品贸易和进行营养健康教育的基础,兼具学术、经济、社会等多种价值。 本数据集收录了基于2002年食物成分表的1506条食物的31项营养成分(含胆固醇)数据,657条食物的18种氨基酸数据、441条食物的32种脂肪酸数据、130条食物的碘数据、114条食物的大豆异黄酮数据。

国家人口健康科学数据中心 收录

RAVDESS

情感语音和歌曲 (RAVDESS) 的Ryerson视听数据库包含7,356个文件 (总大小: 24.8 GB)。该数据库包含24位专业演员 (12位女性,12位男性),以中性的北美口音发声两个词汇匹配的陈述。言语包括平静、快乐、悲伤、愤怒、恐惧、惊讶和厌恶的表情,歌曲则包含平静、快乐、悲伤、愤怒和恐惧的情绪。每个表达都是在两个情绪强度水平 (正常,强烈) 下产生的,另外还有一个中性表达。所有条件都有三种模态格式: 纯音频 (16位,48kHz .wav),音频-视频 (720p H.264,AAC 48kHz,.mp4) 和仅视频 (无声音)。注意,Actor_18没有歌曲文件。

OpenDataLab 收录

啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊

reereererreereererreereererreereererreereererreereererreereererreereererreereererreereererreereererreereerer

阿里云天池 收录

中国区域地面气象要素驱动数据集 v2.0(1951-2020)

中国区域地面气象要素驱动数据集(China Meteorological Forcing Data,以下简称 CMFD)是为支撑中国区域陆面、水文、生态等领域研究而研发的一套高精度、高分辨率、长时间序列数据产品。本页面发布的 CMFD 2.0 包含了近地面气温、气压、比湿、全风速、向下短波辐射通量、向下长波辐射通量、降水率等气象要素,时间分辨率为 3 小时,水平空间分辨率为 0.1°,时间长度为 70 年(1951~2020 年),覆盖了 70°E~140°E,15°N~55°N 空间范围内的陆地区域。CMFD 2.0 融合了欧洲中期天气预报中心 ERA5 再分析数据与气象台站观测数据,并在辐射、降水数据产品中集成了采用人工智能技术制作的 ISCCP-ITP-CNN 和 TPHiPr 数据产品,其数据精度较 CMFD 的上一代产品有显著提升。 CMFD 历经十余年的发展,其间发布了多个重要版本。2019 年发布的 CMFD 1.6 是完全采用传统数据融合技术制作的最后一个 CMFD 版本,而本次发布的 CMFD 2.0 则是 CMFD 转向人工智能技术制作的首个版本。此版本与 1.6 版具有相同的时空分辨率和基础变量集,但在其它诸多方面存在大幅改进。除集成了采用人工智能技术制作的辐射和降水数据外,在制作 CMFD 2.0 的过程中,研发团队尽可能采用单一来源的再分析数据作为输入并引入气象台站迁址信息,显著缓解了 CMFD 1.6 中因多源数据拼接和气象台站迁址而产生的虚假气候突变。同时,CMFD 2.0 数据的时间长度从 CMFD 1.6 的 40 年大幅扩展到了 70 年,并将继续向后延伸。CMFD 2.0 的网格空间范围虽然与 CMFD 1.6 相同,但其有效数据扩展到了中国之外,能够更好地支持跨境区域研究。为方便用户使用,CMFD 2.0 还在基础变量集之外提供了若干衍生变量,包括近地面相对湿度、雨雪分离降水产品等。此外,CMFD 2.0 摒弃了 CMFD 1.6 中通过 scale_factor 和 add_offset 参数将实型数据化为整型数据的压缩技术,转而直接将实型数据压缩存储于 NetCDF4 格式文件中,从而消除了用户使用数据时进行解压换算的困扰。 本数据集原定版本号为 1.7,但鉴于本数据集从输入数据到研制技术都较上一代数据产品有了大幅的改变,故将其版本号重新定义为 2.0。CMFD 2.0 的数据内容与此前宣传的 CMFD 1.7 基本一致,仅对 1983 年 7 月以后的向下短/长波辐射通量数据进行了更新,以修正其长期趋势存在的问题。2021 年至 2024 年的 CMFD 数据正在制作中,计划于 2025 年上半年发布,从而使 CMFD 2.0 延伸至 2024 年底。

国家青藏高原科学数据中心 收录