有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
GEOBench-VLM|视觉语言模型数据集|地理空间任务数据集
收藏arXiv2024-11-29 更新2024-12-03 收录
下载链接：
https://github.com/The-AI-Alliance/GEO-Bench-VLM
下载链接
链接失效反馈资源简介：
GEOBench-VLM数据集由穆罕默德·本·扎耶德人工智能大学创建，旨在评估视觉语言模型在地理空间任务中的表现。该数据集包含超过10,000个问题，涵盖了多种任务，如场景理解、对象计数、视觉定位、细粒度分类和时间分析。数据集的创建过程结合了自动化和手动验证，确保了数据的高质量。该数据集主要应用于环境监测、城市规划和灾害管理等领域，旨在解决地理空间数据分析中的复杂问题。
提供机构：
穆罕默德·本·扎耶德人工智能大学
创建时间：
2024-11-29
AI搜集汇总
数据集介绍
构建方式
GEOBench-VLM数据集通过整合现有的开放数据集并结合人工标注与自动化工具进行构建。每个任务从多个数据集中采样图像，以确保多样性。具体任务如场景理解、对象分类和非光学分析基于分类数据集，而GPT-4o生成独特的多选题，包含一个正确答案、一个语义上最接近的选项和三个合理替代选项。对于计数任务，对象检测数据被转化为关于图像中特定对象数量的问答，提供正确计数和控制偏差的替代选项。对于空间关系任务，手动标注对象对之间的关系，并通过交叉验证确保一致性。
使用方法
GEOBench-VLM数据集适用于评估视觉语言模型在地理空间任务中的表现。用户可以通过访问公开的基准测试套件，使用该数据集对模型进行训练和测试。数据集提供了详细的任务分类和多样化的视觉条件，用户可以根据具体需求选择合适的任务进行模型评估。此外，数据集还提供了多种评估指标，如多选题的准确性、参考表达检测的精确度、分割任务的平均交并比（mIOU）和生成图像描述的ROUGE-L分数，以全面评估模型的性能。
背景与挑战
背景概述
GEOBench-VLM数据集由Mohamed bin Zayed University of Artificial Intelligence、University College London等机构的研究人员共同创建，旨在评估视觉语言模型在地理空间任务中的表现。该数据集于2024年发布，涵盖了从场景理解、对象计数到视觉定位和详细图像描述等多种任务，旨在解决现有视觉语言模型在处理地理空间数据时面临的独特挑战。GEOBench-VLM的推出填补了这一领域的空白，为环境监测、城市规划和灾害管理等应用提供了关键的评估工具。
当前挑战
GEOBench-VLM数据集在构建过程中面临多项挑战。首先，地理空间数据的复杂性，包括多样的分辨率和光照条件，以及卫星图像中对象尺度的显著变化，使得模型训练变得困难。其次，许多地理空间应用需要时间分析来检测随时间的变化，这增加了额外的复杂性。此外，缺乏专门设计用于评估视觉语言模型在地理空间数据上的基准，限制了性能评估和改进的针对性。GEOBench-VLM通过提供超过10,000个手动验证的指令，涵盖多种视觉条件和对象尺度，旨在解决这些挑战，但仍需进一步改进以提升模型在地理空间任务中的表现。
常用场景
经典使用场景
GEOBench-VLM 数据集的经典使用场景主要集中在视觉-语言模型（VLM）在地理空间任务中的评估。该数据集通过涵盖多种遥感应用任务，如时间理解、指代分割、视觉定位、场景理解、计数、详细图像描述和关系推理，来评估 VLM 在地球观测中的表现。这些任务旨在捕捉地理空间数据特有的独特挑战，如时间分析、大规模对象计数、微小对象检测以及遥感图像中实体之间的关系理解。
解决学术问题
GEOBench-VLM 数据集解决了当前视觉-语言模型在处理地理空间数据时面临的独特挑战。这些挑战包括对地理空间数据的复杂性处理不足，以及缺乏专门针对地理空间任务的基准测试。通过提供一个包含超过 10,000 个手动验证指令的综合基准，GEOBench-VLM 为评估 VLM 在地理空间任务中的性能提供了关键工具，从而推动了该领域的学术研究进展。
实际应用
GEOBench-VLM 数据集在实际应用中具有广泛的应用场景，特别是在环境监测、城市规划和灾害管理等领域。例如，在灾害评估中，VLM 可以自动分析卫星图像，识别受灾区域并评估损失。在城市规划中，VLM 可以帮助识别土地覆盖类型，预测城市发展趋势。此外，在环境监测中，VLM 可以用于跟踪森林砍伐、监测农业产量和检测海洋污染。
数据集最近研究
最新研究方向
在地理空间任务中，视觉-语言模型（VLM）的评估和优化已成为前沿研究的重点。GEOBench-VLM数据集的引入，旨在填补现有通用VLM基准在处理地理空间数据复杂性方面的不足。该数据集不仅涵盖了场景理解、对象计数、视觉定位、细粒度分类和时间分析等多样化任务，还特别关注了灾害评估、城市规划和环境监测等实际应用。通过提供超过10,000个手动验证的问题，GEOBench-VLM为研究人员提供了一个全面的平台，以评估和改进VLM在地理空间领域的性能。研究结果表明，尽管现有VLM在某些任务上表现出色，但在处理地理空间特定挑战时仍存在显著提升空间，这为未来的研究指明了方向，特别是在提高模型对时间变化、对象关系和复杂视觉条件的理解能力方面。
相关研究论文
- 1GEOBench-VLM: Benchmarking Vision-Language Models for Geospatial Tasks穆罕默德·本·扎耶德人工智能大学 · 2024年
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
LFW
人脸数据集;LFW数据集共有13233张人脸图像，每张图像均给出对应的人名，共有5749人，且绝大部分人仅有一张图片。每张图片的尺寸为250X250，绝大部分为彩色图像，但也存在少许黑白人脸图片。 URL: http://vis-www.cs.umass.edu/lfw/index.html#download
AI_Studio 收录
Subway Dataset
该数据集包含了全球多个城市的地铁系统数据，包括车站信息、线路图、列车时刻表、乘客流量等。数据集旨在帮助研究人员和开发者分析和模拟城市交通系统，优化地铁运营和乘客体验。
www.kaggle.com 收录
中国高分辨率高质量PM2.5数据集（2000-2023）
ChinaHighPM2.5数据集是中国高分辨率高质量近地表空气污染物数据集（ChinaHighAirPollutants, CHAP）中PM2.5数据集。该数据集利用人工智能技术，使用模式资料填补了卫星MODIS MAIAC AOD产品的空间缺失值，结合地基观测、大气再分析和排放清单等大数据生产得到2000年至今全国无缝隙地面PM2.5数据。数据十折交叉验证决定系数R2为0.92，均方根误差RMSE为10.76 µg/m3。主要范围为整个中国地区，空间分辨率为1 km，时间分辨率为日、月、年，单位为µg/m3。注意：该数据集持续更新，如需要更多数据，请发邮件联系作者（weijing_rs@163.com; weijing@umd.edu）。 数据文件中包含NC转GeoTiff的四种代码（Python、Matlab、IDL和R语言）nc2geotiff codes。
国家青藏高原科学数据中心 收录
RAVDESS
情感语音和歌曲 (RAVDESS) 的Ryerson视听数据库包含7,356个文件 (总大小: 24.8 GB)。该数据库包含24位专业演员 (12位女性，12位男性)，以中性的北美口音发声两个词汇匹配的陈述。言语包括平静、快乐、悲伤、愤怒、恐惧、惊讶和厌恶的表情，歌曲则包含平静、快乐、悲伤、愤怒和恐惧的情绪。每个表达都是在两个情绪强度水平 (正常，强烈) 下产生的，另外还有一个中性表达。所有条件都有三种模态格式: 纯音频 (16位，48kHz .wav)，音频-视频 (720p H.264，AAC 48kHz，.mp4) 和仅视频 (无声音)。注意，Actor_18没有歌曲文件。
OpenDataLab 收录
全国景区数据
中华人民共和国旅游景区质量等级共分为五级，从高到低依次为AAAAA、AAAA、AAA、AA、A级五级。5A级景区代表着中国的世界级精品旅游风景区等级。 CnOpenData汇总整理了全国31个省份及直辖市的景区信息，涵盖了景区名称、省份、景区级别、地址、经纬度、简介等字段，为相关研究助力！
CnOpenData 收录