有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
Dyn-VQA|多模态检索数据集|自然语言处理数据集
收藏arXiv2024-11-05 更新2024-11-07 收录
下载链接：
https://github.com/Alibaba-NLP/OmniSearch
下载链接
链接失效反馈资源简介：
Dyn-VQA数据集由阿里巴巴集团创建，旨在评估多模态检索增强生成（mRAG）系统在处理动态检索需求问题上的表现。该数据集包含1452个动态问题，涵盖快速变化答案、多模态知识和多跳问题三种类型。数据集的创建过程包括文本问题编写、多模态重写和中文-英文翻译三个步骤，确保了数据集的高质量和复杂性。Dyn-VQA主要应用于解决多模态大语言模型中的“幻觉”问题，通过提供复杂的知识检索策略来增强模型的适应性和准确性。
提供机构：
阿里巴巴集团
创建时间：
2024-11-05
AI搜集汇总
数据集介绍
构建方式
Dyn-VQA数据集的构建旨在填补现有知识寻求型视觉问答（VQA）数据集的空白，这些数据集无法充分反映多模态检索增强生成（mRAG）方法在动态知识检索中的局限性。该数据集包含三种类型的“动态”问题，这些问题需要复杂的知识检索策略，包括快速变化答案的问题、需要多模态知识的问题以及多跳问题。这些问题的设计确保了检索查询、工具和时间都是可变的，从而模拟了真实世界中知识检索的动态性。
特点
Dyn-VQA数据集的特点在于其问题的动态性和复杂性。这些问题不仅要求模型能够灵活地提供知识检索解决方案，还要求检索过程能够适应不断变化的上下文和中间发现。此外，数据集中的问题涵盖了多种模态的知识需求，超越了传统VQA数据集仅限于文本知识的限制。这种多样性和复杂性使得Dyn-VQA成为评估mRAG系统性能的理想基准。
使用方法
Dyn-VQA数据集的使用方法主要包括将其应用于多模态检索增强生成（mRAG）系统的评估和训练。研究者和开发者可以利用该数据集来测试和改进现有的mRAG方法，特别是那些依赖于固定检索过程的方法。通过在Dyn-VQA上的实验，可以揭示现有方法在处理动态和复杂问题时的不足，并推动开发更加自适应和灵活的检索策略。此外，该数据集还可以用于训练和验证新的自适应规划代理，如OmniSearch，以提升多模态检索的效率和准确性。
背景与挑战
背景概述
Dyn-VQA数据集由阿里巴巴集团的研究团队构建，旨在解决多模态检索增强生成（mRAG）方法在处理动态视觉问答（VQA）问题时的局限性。该数据集包含三类动态问题，要求复杂的知识检索策略，包括快速变化答案的问题、需要多模态知识的问题以及多跳问题。Dyn-VQA的构建填补了现有知识寻求型VQA数据集的空白，这些数据集通常仅需要标准的两步检索过程即可解决。通过Dyn-VQA数据集，研究团队揭示了现有mRAG方法在处理动态问题时的不足，并提出了首个自适应规划代理OmniSearch，以模拟人类在解决问题时的动态分解复杂多模态问题的行为。
当前挑战
Dyn-VQA数据集面临的挑战主要有两方面：一是解决领域问题的挑战，即如何处理需要复杂知识检索策略的动态问题；二是构建过程中遇到的挑战，包括如何设计能够反映mRAG方法刚性问题的数据集，以及如何确保数据集的质量和多样性。具体挑战包括：1) 非自适应检索查询，现有的检索策略无法适应问题上下文的演变或中间发现；2) 过载的检索查询，一次性检索策略给单个查询带来了过重的负担，导致检索到的知识可能与问题解决不直接相关。此外，数据集的构建需要确保问题类型的多样性和答案的动态更新，这对数据集的维护提出了高要求。
常用场景
经典使用场景
Dyn-VQA数据集的经典使用场景在于评估和提升多模态检索增强生成（mRAG）系统的性能。该数据集包含三类动态问题，要求模型在查询、工具和时间上灵活地提供知识检索解决方案。这些问题无法通过预定义的检索过程解决，因此特别适用于测试现有mRAG方法在处理复杂知识检索时的适应性和准确性。
解决学术问题
Dyn-VQA数据集解决了当前知识寻求型视觉问答（VQA）数据集无法充分反映mRAG方法在获取复杂知识时存在的刚性问题。通过引入动态问题，该数据集迫使模型在检索过程中进行自适应调整，从而有效缓解了非自适应检索查询和过载检索查询的问题。这不仅提升了mRAG系统的性能，还为该领域的研究提供了新的方向和挑战。
衍生相关工作
Dyn-VQA数据集的提出催生了多项相关研究工作，特别是在自适应多模态检索和规划代理方面。例如，OmniSearch作为首个自适应规划代理，通过动态分解复杂的多模态问题为子问题链，显著提升了检索效率和准确性。此外，该数据集还促进了多模态大语言模型（MLLMs）在处理动态和多模态问题上的研究，推动了mRAG技术的进一步发展。
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
China Family Panel Studies (CFPS)
Please visit CFPS official data platform to download the newest data, WeChat official account of CFPS: ISSS_CFPS. The CFPS 2010 baseline survey conducted face-to-face interviews with the sampled households’ family members who live in the sample communities. It also interviewed those family members who were elsewhere in the same county. For those who were not present at home at the time of interview, basic information was collected from their family members at presence. All family members who had blood/marital/adoptive ties with the household were identified as permanent respondents. Prospective family members including new-borns and adopted children.
DataCite Commons 收录
HazyDet
HazyDet是由解放军工程大学等机构创建的一个大规模数据集，专门用于雾霾场景下的无人机视角物体检测。该数据集包含383,000个真实世界实例，收集自自然雾霾环境和正常场景中人工添加的雾霾效果，以模拟恶劣天气条件。数据集的创建过程结合了深度估计和大气散射模型，确保了数据的真实性和多样性。HazyDet主要应用于无人机在恶劣天气条件下的物体检测，旨在提高无人机在复杂环境中的感知能力。
arXiv 收录
ShapeNet
ShapeNet 是由斯坦福大学、普林斯顿大学和美国芝加哥丰田技术研究所的研究人员开发的大型 3D CAD 模型存储库。该存储库包含超过 3 亿个模型，其中 220,000 个模型被分类为使用 WordNet 上位词-下位词关系排列的 3,135 个类。 ShapeNet Parts 子集包含 31,693 个网格，分为 16 个常见对象类（即桌子、椅子、平面等）。每个形状基本事实包含 2-5 个部分（总共 50 个部分类）。
OpenDataLab 收录
中国1km分辨率逐月降水量数据集（1901-2024）
该数据集为中国逐月降水量数据，空间分辨率为0.0083333°（约1km），时间为1901.1-2024.12。数据格式为NETCDF，即.nc格式。该数据集是根据CRU发布的全球0.5°气候数据集以及WorldClim发布的全球高分辨率气候数据集，通过Delta空间降尺度方案在中国降尺度生成的。并且，使用496个独立气象观测点数据进行验证，验证结果可信。本数据集包含的地理空间范围是全国主要陆地（包含港澳台地区），不含南海岛礁等区域。为了便于存储，数据均为int16型存于nc文件中，降水单位为0.1mm。 nc数据可使用ArcMAP软件打开制图; 并可用Matlab软件进行提取处理，Matlab发布了读入与存储nc文件的函数，读取函数为ncread，切换到nc文件存储文件夹，语句表达为：ncread (‘XXX.nc’,‘var’, [i j t],[leni lenj lent])，其中XXX.nc为文件名，为字符串需要’’；var是从XXX.nc中读取的变量名，为字符串需要’’；i、j、t分别为读取数据的起始行、列、时间，leni、lenj、lent i分别为在行、列、时间维度上读取的长度。这样，研究区内任何地区、任何时间段均可用此函数读取。Matlab的help里面有很多关于nc数据的命令，可查看。数据坐标系统建议使用WGS84。
国家青藏高原科学数据中心 收录
NIST Thermochemical Database
NIST Thermochemical Database（NIST热化学数据库）是一个包含大量热化学数据的数据集，涵盖了各种化学物质的热力学性质，如焓、熵、自由能等。该数据库由美国国家标准与技术研究院（NIST）维护，旨在为科学研究和工业应用提供准确的热化学数据。
webbook.nist.gov 收录