An-image-dataset-with-preference-judgments

该数据集包含图像对的偏好判断，每个图像对由三位评估者进行偏好评分。数据格式包括查询、图像对（搜索引擎/查询图像ID.jpg）和三个偏好标签（-2: 绝对左边，-1: 左边，0: 平局，1: 右边，2: 绝对右边）。此外，还包括SERP级别的偏好判断、图像位置信息和查询-图像对的关联性判断。

This dataset encompasses preference judgments for image pairs, with each pair being evaluated by three assessors for preference scoring. The data format includes queries, image pairs (search engine/query image ID.jpg), and three preference labels (-2: strongly left, -1: left, 0: tie, 1: right, 2: strongly right). Additionally, it includes SERP-level preference judgments, image position information, and relevance judgments for query-image pairs.

原始信息汇总

数据集概述

数据集组成

1. image_pairs_annotation

• 描述: 包含图像对的偏好判断。每对图像由三位评估者进行偏好评分。
• 格式: "查询 图像对(搜索引擎/查询_图像ID.jpg) 三位评估者的偏好标签(-2: 绝对左边, -1: 左边, 0: 平局, 1: 右边, 2: 绝对右边)"

2. SERP_level_preference

• 描述: SERP级别的偏好判断（论文中使用的黄金标准）。
• 格式: "查询 获胜者(0: 搜狗, 1: 平局, 2: 百度)"

3. Image_position.json

• 描述: 每张图像的位置信息。每张图像提供一个三元组 (行号, 列号, 行中图像数量)。
• 注: 在图像搜索中，采用基于网格的结果布局。

4. relevance_data

• 描述: 查询-图像对的关联性判断。每对图像由三位评估者进行关联性评分。
• 格式: "查询 图像(搜索引擎/查询_图像ID.jpg) 平均关联性得分"

代码

PWP.py

• 描述: 用于提出的偏好基评估指标：偏好获胜惩罚(PWP)的代码。该文件还展示了如何读取和处理上述数据集。

搜集汇总

数据集介绍

构建方式

该数据集构建于图像搜索领域，旨在通过用户偏好评估来提升图像搜索结果的准确性。数据集的构建过程包括从不同搜索引擎（如Sogou和Baidu）中收集图像对，并通过三位评估者对每对图像进行偏好标注。标注格式包括明确的偏好等级（如“绝对左侧”、“左侧”、“平局”、“右侧”、“绝对右侧”），以确保数据的多样性和可靠性。此外，数据集还包含了图像在搜索结果页面中的位置信息，进一步丰富了数据的维度。

使用方法

该数据集的使用方法主要围绕偏好分析和图像搜索算法的评估展开。用户可以通过读取`image_pairs_annotation`文件获取图像对的偏好标注，结合`Image_position.json`中的位置信息，分析图像在搜索结果中的视觉影响。`SERP_level_preference`文件提供了搜索引擎级别的偏好判断，可用于比较不同搜索引擎的性能。此外，`PWP.py`代码文件提供了计算偏好获胜惩罚（PWP）指标的实现，用户可参考该代码进行数据分析和算法评估。

背景与挑战

背景概述

An-image-dataset-with-preference-judgments数据集由SIGIR 2020会议论文《Preference-based Evaluation Metrics for Web Image Search》的研究团队创建，旨在解决基于偏好的图像搜索评估问题。该数据集包含图像对的偏好标注、搜索引擎结果页面（SERP）级别的偏好标注以及图像位置信息，为图像搜索领域的评估提供了新的视角。通过引入多评估者的偏好判断，该数据集为研究图像搜索结果的用户偏好提供了丰富的数据支持，推动了图像搜索评估方法的发展，尤其在偏好驱动的评估指标设计方面具有重要影响力。

当前挑战

该数据集的核心挑战在于如何准确捕捉用户对图像搜索结果的偏好，并将其转化为可量化的评估指标。图像搜索结果的偏好判断具有主观性和多样性，不同评估者可能对同一图像对给出不同的偏好标签，这增加了数据标注的复杂性。此外，构建过程中需处理大规模图像对和搜索引擎结果页面的标注任务，确保数据的一致性和可靠性。如何设计有效的偏好评估指标（如Preference-Winning-Penalty）以反映用户真实偏好，也是该数据集面临的重要技术挑战。

常用场景

经典使用场景

在图像搜索领域，用户对搜索结果的主观偏好是评估搜索引擎性能的关键指标之一。该数据集通过提供图像对的偏好标注和搜索结果页面的偏好判断，为研究人员提供了一个标准化的评估框架。经典的使用场景包括基于用户偏好的图像搜索算法优化和搜索引擎性能评估。

解决学术问题

该数据集解决了图像搜索领域中用户偏好量化与评估的难题。通过引入多评估者的偏好标注和搜索结果页面的偏好判断，数据集为研究者提供了可靠的基准数据，支持开发更符合用户需求的图像搜索算法。这一数据集的出现填补了传统相关性评估与用户主观偏好之间的鸿沟，推动了图像搜索评价体系的完善。

实际应用

在实际应用中，该数据集被广泛用于优化商业图像搜索引擎的排序算法。通过分析用户对图像对的偏好数据，搜索引擎可以更好地理解用户需求，从而提升搜索结果的相关性和用户满意度。此外，数据集还被用于开发个性化推荐系统，帮助用户更高效地找到符合其偏好的图像内容。

数据集最近研究

最新研究方向

在图像搜索与信息检索领域，基于用户偏好的评估方法逐渐成为研究热点。An-image-dataset-with-preference-judgments数据集为这一方向提供了重要支持。该数据集通过图像对偏好标注、搜索结果页面（SERP）级别的偏好判断以及图像位置信息，为研究者提供了多维度的用户偏好数据。近年来，基于该数据集的研究主要集中在改进图像搜索的评估指标，特别是通过Preference-Winning-Penalty（PWP）等新型度量方法，优化搜索引擎的排序算法。此外，结合网格布局的图像展示方式，研究者进一步探索了用户视觉偏好与搜索结果相关性之间的关系。这些研究不仅推动了图像搜索技术的智能化发展，也为个性化搜索体验的提升提供了理论依据。