JPEG AIC-3

JPEG AIC-3数据集是一个用于评估图像质量的大型众包数据集，包含由JPEG、JPEG 2000、AVIF、VVC Intra和JPEG XL等五种有损压缩技术压缩的图像，涵盖了从高质到几乎无损的质量范围。数据集通过一种新颖的双重刺激质量评估方法（IDSQS）收集，参与者可以通过切换按钮在参考图像和其压缩版本之间进行切换，并使用连续的0到100的尺度对压缩图像的质量进行评分。数据集的创建过程采用了严格的筛选和数据分析方法，以确保数据的质量和可靠性。该数据集旨在为图像压缩算法和失真级别的图像质量评估提供一个全面的基础，并为研究图像质量评估的新方法提供数据支持。

The JPEG AIC-3 dataset is a large-scale, crowdsourced image quality evaluation dataset designed to assess image quality. It encompasses images compressed using five lossy compression techniques, including JPEG, JPEG 2000, AVIF, VVC Intra, and JPEG XL, spanning a quality range from high to nearly lossless. The dataset was collected through a novel dual-stimulus quality assessment method (IDSQS), where participants can switch between a reference image and its compressed version using a toggle button and rate the quality of the compressed image on a continuous scale from 0 to 100. The creation process of the dataset employed rigorous screening and data analysis methods to ensure the quality and reliability of the data. This dataset aims to provide a comprehensive foundation for evaluating image compression algorithms and image quality at different levels of distortion, and to offer data support for the research of new methods for image quality assessment.

原始信息汇总

数据集概述

基本信息

• 数据集名称: In-place Double Stimulus Methodology for Subjective Assessment of High Quality Images (IDSQS)
• 研究团队: Shima Mohammadi, Mohsen Jenadeleh, Michela Testolina, Jon Sneyers, Touradj Ebrahimi, Dietmar Saupe, Joao Ascenso
• 所属机构: Instituto de Telecomunicações, Instituto Superior Técnico, University of Lisbon
• 研究背景: 针对高质量图像的主观评估，提出了一种新颖的双刺激主观评估方法，旨在解决现有协议在捕捉近乎视觉无损感知质量差异方面的局限性。

数据集内容

• 数据来源: 通过Amazon Mechanical Turk (MTurk)进行的大规模众包研究。
• 数据类型:
  • 参考图像和失真图像对的响应数据。
  • 众包工作者的人口统计信息。
• 目录结构:
  • Interface: 包含IDSQS界面。
  • Subjective data: 包含主观测试的原始数据。
  • Software: 包含处理原始数据的软件。

研究贡献

• 方法论创新: 提出In-place Double Stimulus Quality Scale (IDSQS)，允许受试者在同一空间位置交替查看参考图像和失真图像，从而更直观地检测质量差异。
• 数据分析: 使用Beta分布拟合获得的质量分数，研究其变异性及受试者间的一致性。
• 数据集应用: 用于评估多种压缩算法和失真水平下的感知图像质量。

资助信息

• 资助机构:
  • FCT/MCTES通过国家资金资助项目DARING（参考号PTDC/EEI-COM/7775/2020）。
  • 德国研究基金会（DFG，项目ID 251654672 – TRR 161）。

搜集汇总

数据集介绍

构建方式

JPEG AIC-3数据集的构建采用了创新的双刺激主观评估方法（IDSQS），通过在同一空间位置交替显示参考图像和失真图像，使评估者能够更直观地感知图像质量的细微差异。研究团队通过大规模众包实验收集了来自132名参与者的主观评分，涵盖了五种图像压缩算法（JPEG、JPEG 2000、AVIF、VVC Intra和JPEG XL）在十个不同比特率下的质量评估。实验设计包括研究问题和陷阱问题，以确保数据的可靠性。数据经过清洗、异常值去除和基于Beta分布的评分建模，最终生成了一个全面的高质量图像质量评估数据集。

特点

JPEG AIC-3数据集的特点在于其专注于高质量至近乎视觉无损的图像质量评估，填补了传统方法在此质量范围内的不足。数据集包含多种图像类型和内容，覆盖了从高到低的不同失真水平，且每个失真水平之间间隔约2.5 JND单位，确保了评分的精细区分。此外，数据集采用了Beta分布建模评分，能够灵活捕捉评分的多样分布，并通过陷阱问题和统计方法确保了数据的高可靠性。

使用方法

JPEG AIC-3数据集的使用方法包括直接应用于图像质量评估算法的开发和验证。研究人员可以通过分析数据集中的主观评分，评估不同压缩算法在高质量图像上的表现。数据集还提供了图形用户界面和详细的评分处理流程，便于复现实验或进行新的主观评估研究。此外，数据集中的Beta分布参数可用于建模评分分布，为质量预测模型提供更准确的参考。

背景与挑战

背景概述

JPEG AIC-3数据集是JPEG标准化委员会在2025年推出的一个专注于高质量图像主观评估的数据集，由Shima Mohammadi、Mohsen Jenadeleh等多位研究者共同开发。该数据集旨在解决现有图像质量评估协议在检测高质量至视觉无损图像细微感知差异方面的局限性。通过引入一种新颖的双刺激主观评估方法（IDSQS），该数据集能够更直观地捕捉图像质量差异，尤其在高质量范围内表现突出。JPEG AIC-3不仅为图像压缩算法的评估提供了标准化工具，还通过大规模众包研究生成了一套全面的公共数据集，推动了图像质量评估领域的发展。

当前挑战

JPEG AIC-3数据集面临的挑战主要体现在两个方面：一是领域问题的挑战，即如何准确评估高质量至视觉无损图像中的细微质量差异，这对传统评估方法提出了更高的要求；二是构建过程中的挑战，包括众包环境下数据质量的保证、受试者评分一致性的控制，以及复杂数据处理的实现。此外，数据集还需解决不同图像编解码器在高质量范围内的性能差异问题，以及如何与现有评估标准（如JPEG AIC-2）进行有效对比。

常用场景

经典使用场景

JPEG AIC-3数据集在图像质量评估领域具有重要价值，尤其在评估高保真至近乎视觉无损的图像压缩算法时表现突出。该数据集通过创新的双刺激主观评估方法（IDSQS），使评估者能够在同一空间位置交替查看参考图像和失真图像，从而更准确地捕捉细微的视觉差异。这一方法特别适用于评估JPEG、JPEG 2000、AVIF、VVC Intra和JPEG XL等现代图像压缩技术在不同比特率下的表现。

解决学术问题

JPEG AIC-3数据集解决了传统主观评估方法在高保真图像质量评估中的局限性。传统方法如DSCQS和DSIS在检测细微失真时表现不佳，而IDSQS方法通过避免空间偏差和减少认知负荷，显著提升了评估的准确性。此外，该数据集还引入了Beta分布模型来分析评分分布，为研究者提供了更可靠的数据处理工具，从而推动了图像质量评估领域的标准化进程。

衍生相关工作

JPEG AIC-3数据集衍生了一系列经典研究工作，例如基于Boosted Triplet Comparison (BTC)和Plain Triplet Comparison (PTC)的精细质量评估方法。这些方法通过放大失真或引入闪烁技术，进一步提升了评估的灵敏度。相关研究还探索了如何将主观评分与客观指标（如JND单位）对齐，为后续的图像质量评估标准（如ISO/IEC 29170-3）奠定了理论基础。这些工作不仅扩展了数据集的应用范围，也为未来研究提供了新的方向。