mismatch-quest/SeeTRUE-Feedback

SeeTRUE-Feedback数据集是一个用于图像-文本匹配/对齐反馈元评估的多样化基准。它旨在克服当前基准主要关注预测0-1匹配分数的局限性。SeeTRUE为每一行提供原始标题、与文本-图像错位相关的反馈，以及错位的标题+视觉来源（包括视觉错位的边界框）。该数据集仅支持英语，包含一个测试分组，不应被用于训练。

原始信息汇总

数据集卡片 for SeeTRUE-Feedback

数据集描述

SeeTRUE-Feedback 数据集是一个多样化的基准，用于元评估图像-文本匹配/对齐反馈。它旨在克服当前基准的局限性，这些基准主要关注预测 0-1 之间的匹配分数。SeeTRUE 为每一行提供了原始标题、与文本-图像错位相关的反馈，以及标题+视觉错位的来源（包括视觉错位的边界框）。

语言

数据集支持英语。

数据集结构

数据字段

• image_caption - 与图像关联的标题。
• image_name - 图像文件的名称。
• dataset_source - 图像的来源/原始数据集。
• id_in_source_dataset - 行源自的数据集的ID。
• image_url - 可从中下载图像的S3链接。
• human_feedback - 关于图像-文本错位的人工注释反馈。
• feedback - 将反馈汇总为单个条目（由LLM生成：PaLM-2）。
• feedback_clean - feedback字段的解析和“清洁”版本。
• caption_misalignment - 图像标题中的错位来源。
• visual_misalignment - 图像中的错位来源。
• bbox_GroundingDino - 在GroundingDino输出格式中检测到的视觉错位边界框。
• bbox_PaLI - 在PaLI输出格式中检测到的视觉错位边界框。

数据分割

SeeTRUE-Feedback 包含一个分割：TEST，不应用于训练。

数据集创建

该数据集是通过从多个数据集中获取和匹配图像和文本来创建的。更多信息见论文：<TODO>

许可信息

该数据集采用CC-By 4.0许可。

引用信息

TODO