有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
MultiChartQA|多模态学习数据集|视觉问答数据集
收藏arXiv2024-10-18 更新2024-10-22 收录
下载链接：
https://github.com/Zivenzhu/Multi-chart-QA
下载链接
链接失效反馈资源简介：
MultiChartQA 是一个用于评估多模态大语言模型（MLLMs）在多图表场景中能力的基准数据集。该数据集由西安交通大学和圣母大学的研究团队创建，包含来自ArXiv、OECD、OWID和Pew Research Center的655个图表和944个问题。数据集设计了四种问题类型，涵盖直接问答、并行问答、比较推理和顺序推理，旨在全面评估模型在多图表理解中的能力。数据集的创建过程包括从多个公共资源中收集图表，并手动注释问题和答案，以确保高质量。MultiChartQA 主要应用于多图表理解和视觉问答领域，旨在解决现有基准在复杂多图表场景中的不足。
提供机构：
西安交通大学, 圣母大学
创建时间：
2024-10-18
原始信息汇总
Multi-chart QA 数据集概述
简介
Multi-chart QA 是一个广泛且具有挑战性的基准测试数据集，包含真实世界的图表。数据集中的图表来自多个来源，以确保多样性和完整性。每个多图表组包含2到3个图表，每个组伴随4个问题，通常涵盖四个不同的主要类别。
数据集规模
- 数据集包含236个多图表组。
- 总计包含944个问题。
AI搜集汇总
数据集介绍
构建方式
MultiChartQA 数据集的构建旨在填补现有图表理解基准在处理多图表场景中的不足。该数据集从多个公开资源中收集了包含多图表的文章，包括 Arxiv、OECD、OWID 和 Pew Research Center。通过这些资源，设计了四种不同类型的问题，每种问题类型都与同一文章中的多个图表配对：直接问答、并行问答、比较推理和顺序推理。所有问题和答案均经过人工标注以确保高质量。
特点
MultiChartQA 数据集的显著特点在于其复杂性和多样性。它不仅涵盖了单图表任务中常见的直接问答，还引入了需要跨图表进行多跳推理的并行问答、比较推理和顺序推理任务。这种设计使得数据集能够全面评估多模态大语言模型在处理实际应用中常见多图表场景的能力。
使用方法
MultiChartQA 数据集适用于评估和提升多模态大语言模型在多图表理解任务中的表现。使用该数据集时，模型需要能够准确识别相关图表，提取并整合来自多个图表的信息，进行多跳推理以得出正确答案。数据集提供了详细的评估指标和脚本，便于研究人员和开发者进行模型性能的量化评估和改进。
背景与挑战
背景概述
MultiChartQA 数据集由西安交通大学和圣母大学的研究人员于近期创建，旨在评估多模态大语言模型（MLLMs）在多图表场景中的能力。该数据集的核心研究问题是如何在实际应用中，如新闻文章和科学文档中，处理涉及多个图表的信息整合和多步推理任务。MultiChartQA 通过引入四种关键任务类型——直接问答、并行问答、比较推理和顺序推理，填补了现有图表理解基准在多图表场景中的空白。这一创新显著提升了对 MLLMs 在复杂图表理解任务中表现的评估能力，推动了该领域的发展。
当前挑战
MultiChartQA 数据集面临的挑战主要集中在两个方面。首先，解决领域问题的挑战在于如何有效地从多个图表中提取和整合信息，这需要模型具备高级的多图表编码、精确的信息定位和多步推理能力。其次，构建过程中遇到的挑战包括数据集的收集和标注，由于多图表场景的复杂性，确保每个问题和答案的高质量标注是一项耗时且资源密集的任务。此外，现有模型在处理多图表任务时表现出的显著性能差距，也凸显了进一步提升 MLLMs 在复杂图表理解任务中能力的迫切需求。
常用场景
经典使用场景
MultiChartQA 数据集的经典使用场景在于评估多模态大语言模型（MLLMs）在多图表场景中的能力。该数据集通过设计四种关键任务：直接问答、并行问答、比较推理和顺序推理，全面测试模型在处理多个图表时的信息提取和整合能力。例如，模型需要从多个图表中提取信息，进行多步推理以回答复杂问题，这在实际应用如新闻文章和科学文档中非常常见。
衍生相关工作
MultiChartQA 数据集的推出催生了一系列相关研究工作，特别是在多模态大语言模型的改进和优化方面。研究者们通过使用该数据集进行模型训练和评估，提出了多种增强模型多图表处理能力的方法，如链式推理（Chain of Thought）和多图像编码技术。此外，该数据集还激发了对图表理解任务的进一步细分研究，推动了图表数据提取和信息整合技术的进步。
数据集最近研究
最新研究方向
在多模态大语言模型（MLLMs）领域，MultiChartQA数据集的出现填补了现有图表相关任务基准在多图表场景复杂性捕捉方面的不足。当前的研究方向主要集中在通过MultiChartQA评估MLLMs在四个关键领域的性能：直接问答、并行问答、比较推理和顺序推理。这些任务不仅要求模型能够准确识别包含所需信息的特定图表，还需要在多个图表之间进行信息整合和多跳推理。研究结果表明，尽管MLLMs在视觉问答和图表理解等任务中表现出色，但在处理多图表场景时仍存在显著性能差距。MultiChartQA的引入不仅揭示了多图表理解的挑战，还为推动该领域的发展提供了新的动力和方向。
相关研究论文
- 1MultiChartQA: Benchmarking Vision-Language Models on Multi-Chart Problems西安交通大学, 圣母大学 · 2024年
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
Figshare
Figshare是一个在线数据共享平台，允许研究人员上传和共享各种类型的研究成果，包括数据集、论文、图像、视频等。它旨在促进科学研究的开放性和可重复性。
figshare.com 收录
中国区域地面气象要素驱动数据集 v2.0（1951-2024）
中国区域地面气象要素驱动数据集（China Meteorological Forcing Data，以下简称 CMFD）是为支撑中国区域陆面、水文、生态等领域研究而研发的一套高精度、高分辨率、长时间序列数据产品。本页面发布的 CMFD 2.0 包含了近地面气温、气压、比湿、全风速、向下短波辐射通量、向下长波辐射通量、降水率等气象要素，时间分辨率为 3 小时，水平空间分辨率为 0.1°，时间长度为 74 年（1951~2024 年），覆盖了 70°E~140°E，15°N~55°N 空间范围内的陆地区域。CMFD 2.0 融合了欧洲中期天气预报中心 ERA5 再分析数据与气象台站观测数据，并在辐射、降水数据产品中集成了采用人工智能技术制作的 ISCCP-ITP-CNN 和 TPHiPr 数据产品，其数据精度较 CMFD 的上一代产品有显著提升。 CMFD 历经十余年的发展，其间发布了多个重要版本。2019 年发布的 CMFD 1.6 是完全采用传统数据融合技术制作的最后一个 CMFD 版本，而本次发布的 CMFD 2.0 则是 CMFD 转向人工智能技术制作的首个版本。此版本与 1.6 版具有相同的时空分辨率和基础变量集，但在其它诸多方面存在大幅改进。除集成了采用人工智能技术制作的辐射和降水数据外，在制作 CMFD 2.0 的过程中，研发团队尽可能采用单一来源的再分析数据作为输入并引入气象台站迁址信息，显著缓解了 CMFD 1.6 中因多源数据拼接和气象台站迁址而产生的虚假气候突变。同时，CMFD 2.0 数据的时间长度从 CMFD 1.6 的 40 年大幅扩展到了 74 年，并将继续向后延伸。CMFD 2.0 的网格空间范围虽然与 CMFD 1.6 相同，但其有效数据扩展到了中国之外，能够更好地支持跨境区域研究。为方便用户使用，CMFD 2.0 还在基础变量集之外提供了若干衍生变量，包括近地面相对湿度、雨雪分离降水产品等。此外，CMFD 2.0 摒弃了 CMFD 1.6 中通过 scale_factor 和 add_offset 参数将实型数据化为整型数据的压缩技术，转而直接将实型数据压缩存储于 NetCDF4 格式文件中，从而消除了用户使用数据时进行解压换算的困扰。 本数据集原定版本号为 1.7，但鉴于本数据集从输入数据到研制技术都较上一代数据产品有了大幅的改变，故将其版本号重新定义为 2.0。
国家青藏高原科学数据中心 收录
URPC系列数据集, S-URPC2019, UDD
URPC系列数据集包括URPC2017至URPC2020DL，主要用于水下目标的检测和分类。S-URPC2019专注于水下环境的特定检测任务。UDD数据集信息未在README中详细描述。
github 收录
China Health and Nutrition Survey (CHNS)
China Health and Nutrition Survey（CHNS）是一项由美国北卡罗来纳大学人口中心与中国疾病预防控制中心营养与健康所合作开展的长期开放性队列研究项目，旨在评估国家和地方政府的健康、营养与家庭计划政策对人群健康和营养状况的影响，以及社会经济转型对居民健康行为和健康结果的作用。该调查覆盖中国15个省份和直辖市的约7200户家庭、超过30000名个体，采用多阶段随机抽样方法，收集了家庭、个体以及社区层面的详细数据，包括饮食、健康、经济和社会因素等信息。自2011年起，CHNS不断扩展，新增多个城市和省份，并持续完善纵向数据链接，为研究中国社会经济变化与健康营养的动态关系提供了重要的数据支持。
www.cpc.unc.edu 收录
UAVDT Dataset
The authors constructed a new UAVDT Dataset focused on complex scenarios with new level challenges. Selected from 10 hours raw videos, about 80, 000 representative frames are fully annotated with bounding boxes as well as up to 14 kinds of attributes (e.g., weather condition, flying altitude, camera view, vehicle category, and occlusion) for three fundamental computer vision tasks: object detection, single object tracking, and multiple object tracking.
datasetninja.com 收录