有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
CIRR-C, FashionIQ-C, CIRR-D|文本-图像检索数据集|模型鲁棒性数据集
收藏arXiv2023-12-01 更新2024-06-21 收录
下载链接：
https://github.com/SunTongtongtong/Benchmark-Robustness-Text-Image-Compose-Retrieval
下载链接
链接失效反馈资源简介：
本研究引入了三个大型鲁棒性基准数据集，用于评估文本-图像组合检索的鲁棒性。CIRR-C和FashionIQ-C分别针对开放领域和时尚领域，包含15种视觉腐败和7种文本腐败，用于测试模型对自然腐败的鲁棒性。CIRR-D是一个诊断数据集，通过合成数据扩展原始数据，包含修改后的文本，用于评估模型在数值变化、属性变化、对象移除、背景变化和细粒度评估等方面的文本理解能力。这些数据集的创建旨在解决模型在实际应用中可能遇到的自然腐败和文本理解问题，从而提高模型的鲁棒性和准确性。
提供机构：
伦敦玛丽女王大学
创建时间：
2023-11-25
AI搜集汇总
数据集介绍
构建方式
CIRR-C、FashionIQ-C和CIRR-D数据集的构建基于现有的CIRR和FashionIQ数据集，通过引入15种视觉损坏和7种文本损坏来评估模型对自然损坏的鲁棒性。CIRR-D数据集通过扩展原始数据并添加合成数据，以更好地探测文本理解能力，包括数值变化、属性变化、对象移除、背景变化和细粒度评估。这些数据集的构建旨在系统地分析文本图像组合检索在视觉和文本自然损坏以及进一步的文本理解方面的鲁棒性。
特点
这些数据集的主要特点在于其多样性和复杂性。CIRR-C和FashionIQ-C数据集包含了15种视觉损坏和7种文本损坏，能够全面评估模型在真实世界中的鲁棒性。CIRR-D数据集则通过合成数据扩展了原始数据集，提供了对文本理解能力的深入探测，涵盖了数值、属性、对象移除、背景和细粒度变化等多个方面。这些数据集的设计旨在填补现有研究中对多模态任务鲁棒性分析的空白。
使用方法
使用这些数据集时，研究者可以通过下载原始的CIRR和FashionIQ数据集，并应用提供的代码进行图像和文本的损坏处理。随后，可以在这些损坏数据上进行下游模型的评估。对于CIRR-D数据集，研究者可以直接使用提供的合成数据和扩展的查询，以评估模型在不同文本理解任务上的表现。这些数据集的评估平台已经标准化，便于不同模型的公平比较和集成。
背景与挑战
背景概述
文本-图像组合检索旨在通过组合查询来检索目标图像，该查询以图像加上描述输入图像所需修改的文本形式指定。近年来，由于其能够利用信息丰富的图像和简洁的语言来精确表达目标图像的需求，这一领域引起了广泛关注。然而，这些方法对现实世界中的损坏或进一步的文本理解能力的鲁棒性尚未得到研究。本文首次进行了鲁棒性研究，并建立了三个新的多样化基准，用于系统分析文本-图像组合检索对视觉和文本中的自然损坏的鲁棒性，并进一步探究文本理解能力。
当前挑战
构建CIRR-C、FashionIQ-C和CIRR-D数据集面临的主要挑战包括：1) 对视觉和文本中的自然损坏进行系统分析，确保模型在这些损坏条件下的鲁棒性；2) 扩展原始数据集以包含合成数据，以更好地探测文本理解能力，包括数值变化、属性变化、对象移除、背景变化和细粒度评估；3) 确保合成数据与自然场景相符，避免生成包含明显人工痕迹的图像。此外，数据集的长尾分布问题也可能导致模型对某些类别的偏见，影响评估的公正性。
常用场景
经典使用场景
CIRR-C, FashionIQ-C, 和 CIRR-D 数据集主要用于评估文本-图像组合检索模型的鲁棒性。这些数据集通过引入视觉和文本的自然损坏，以及文本理解能力的测试，来系统分析模型在面对真实世界中的损坏时的表现。经典使用场景包括在开放域和时尚域中测试模型对视觉和文本损坏的鲁棒性，以及通过合成数据扩展原始数据集来评估模型的文本理解能力。
衍生相关工作
基于这些数据集，研究者们已经开展了一系列相关工作，包括对多模态任务鲁棒性的系统分析、视觉问答任务的鲁棒性研究，以及对文本-图像组合检索模型的诊断分析。例如，Li 等人 [22] 对视觉问答任务的鲁棒性进行了系统分析，而 Schiappa 等人 [4] 则在文本-视频检索中引入了自然损坏的视觉和文本基准。这些工作进一步推动了多模态学习领域的发展，特别是在面对真实世界中的损坏和复杂文本理解需求时的模型表现。
数据集最近研究
最新研究方向
在文本图像组合检索领域，最新的研究方向集中在评估和提升模型对自然图像和文本损坏的鲁棒性。研究者们通过引入CIRR-C和FashionIQ-C两个大规模基准数据集，分别针对开放领域和时尚领域，应用了15种视觉损坏和7种文本损坏，以系统分析模型在面对自然损坏时的表现。此外，为了深入探究模型的文本理解能力，研究团队还创建了CIRR-D诊断数据集，通过扩展原始数据并加入合成数据，涵盖了数值变化、属性变化、对象移除、背景变化和细粒度评估等多种场景。这些研究不仅填补了该领域在实际应用中对模型鲁棒性评估的空白，还为未来的模型优化提供了重要的参考方向。
相关研究论文
- 1Benchmarking Robustness of Text-Image Composed Retrieval伦敦玛丽女王大学 · 2023年
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
中国1km分辨率逐月降水量数据集（1901-2023）
该数据集为中国逐月降水量数据，空间分辨率为0.0083333°（约1km），时间为1901.1-2023.12。数据格式为NETCDF，即.nc格式。该数据集是根据CRU发布的全球0.5°气候数据集以及WorldClim发布的全球高分辨率气候数据集，通过Delta空间降尺度方案在中国降尺度生成的。并且，使用496个独立气象观测点数据进行验证，验证结果可信。本数据集包含的地理空间范围是全国主要陆地（包含港澳台地区），不含南海岛礁等区域。为了便于存储，数据均为int16型存于nc文件中，降水单位为0.1mm。 nc数据可使用ArcMAP软件打开制图; 并可用Matlab软件进行提取处理，Matlab发布了读入与存储nc文件的函数，读取函数为ncread，切换到nc文件存储文件夹，语句表达为：ncread (‘XXX.nc’,‘var’, [i j t],[leni lenj lent])，其中XXX.nc为文件名，为字符串需要’’；var是从XXX.nc中读取的变量名，为字符串需要’’；i、j、t分别为读取数据的起始行、列、时间，leni、lenj、lent i分别为在行、列、时间维度上读取的长度。这样，研究区内任何地区、任何时间段均可用此函数读取。Matlab的help里面有很多关于nc数据的命令，可查看。数据坐标系统建议使用WGS84。
国家青藏高原科学数据中心 收录
HUSTgearbox
This reposotory release a gearbox failure dataset, which can support intelliegnt fault diagnosis research
github 收录
Beijing Traffic
The Beijing Traffic Dataset collects traffic speeds at 5-minute granularity for 3126 roadway segments in Beijing between 2022/05/12 and 2022/07/25.
Papers with Code 收录
Figshare
Figshare是一个在线数据共享平台，允许研究人员上传和共享各种类型的研究成果，包括数据集、论文、图像、视频等。它旨在促进科学研究的开放性和可重复性。
figshare.com 收录
URPC系列数据集, S-URPC2019, UDD
URPC系列数据集包括URPC2017至URPC2020DL，主要用于水下目标的检测和分类。S-URPC2019专注于水下环境的特定检测任务。UDD数据集信息未在README中详细描述。
github 收录