MEDFACT

MEDFACT是一个大规模的中文数据集，用于对大型语言模型（LLM）生成的医疗内容进行基于证据的医疗事实核查。该数据集包含1321个问题和7409个声明，反映了现实世界医疗场景的复杂性。数据集的构建包括收集医疗问题、使用LLM生成响应、将响应分解为原子声明、提取声明、检测声明的核查价值、检索证据和标注声明的真实性。数据集适用于医疗事实核查任务，旨在解决医疗信息在线传播中的不准确和误导问题。

MEDFACT is a large-scale Chinese dataset dedicated to evidence-based medical fact checking of medical content generated by large language models (LLMs). It contains 1,321 questions and 7,409 statements, which reflect the complexity of real-world medical scenarios. The construction of the dataset involves collecting medical questions, generating responses with LLMs, decomposing responses into atomic statements, extracting statements, detecting the verifiability of statements, retrieving evidence, and annotating the veracity of the statements. This dataset is applicable to medical fact checking tasks, aiming to address the issues of inaccuracy and misinformation in the online spread of medical information.

搜集汇总

数据集介绍

构建方式

JPEG AIC-3数据集专为高保真图像压缩场景设计，其构建过程严格遵循ISO/IEC 29170-3标准中的主观评估方法。该数据集选取了五张高质量源图像，并将其裁剪为620×800像素的分辨率，随后采用AVIF、JPEG、JPEG 2000、JPEG XL和VVC Intra五种编解码器，在十个不同质量级别下生成压缩图像。主观评估通过众包平台Amazon Mechanical Turk进行，结合了增强 triplet比较（BTC）和普通 triplet比较（PTC）两种协议，利用缩放、伪影放大和闪烁等增强技术提升对细微失真的敏感度，最终通过Thurstonian Case V模型和自助法计算每张图像的主观分数均值及标准差。

特点

JPEG AIC-3数据集的核心特点在于其专注于高保真至数学无损压缩质量范围，主观分数以恰可察觉差异（JND）单位量化，覆盖0至3.8 JND的感知损伤范围。数据集包含300张压缩图像，每张均配有经过统计验证的主观分数及不确定性度量，支持对细微压缩伪影的精确评估。其数据划分为全范围、高保真子集（0-1 JND）和中保真子集（1 JND以上），便于针对不同失真 regime 进行针对性分析。此外，数据集还包含跨编解码器比较和陷阱测试，确保了主观评估的可靠性和一致性。

使用方法

该数据集主要用于评估全参考客观图像质量度量（IQA）在高保真压缩场景下的性能。研究人员可计算各度量在压缩图像上的分数，并通过逻辑函数将其与主观JND分数对齐，随后采用传统指标（如PLCC、SROCC、RMSE）及本研究提出的Z-RMSE、OR和PWRC等新准则进行性能分析。数据集支持统计检验（如Meng-Rosenthal-Rubin和Wilcoxon符号秩检验）以验证度量间的显著差异，并可进一步分析裁剪对度量的影响。所有数据、基准测试工具及评估代码均已公开，以促进可重复研究和度量优化。

背景与挑战

背景概述

JPEG AIC-3数据集由国际标准化组织（ISO/IEC）联合技术委员会于2025年主导开发，是JPEG先进图像编码（AIC）倡议的第三阶段成果，专注于高保真图像压缩领域的主观质量评估。该数据集由里斯本大学电信研究所、康斯坦茨大学及Cloudinary等机构的研究团队联合构建，核心目标是解决传统图像质量评估方法在接近视觉无损压缩区间内的灵敏度不足问题。其创新性在于采用基于恰可察觉差异（JND）的三元组比较和失真增强技术（如放大、闪烁和伪影放大），为专业摄影、医学成像和数字存档等对视觉保真度要求极高的应用提供了精细化评估基准。

当前挑战

该数据集旨在解决高保真图像压缩中细微伪影的感知量化难题，其核心挑战包括：在视觉无损区间内区分低于JND阈值的失真，传统客观指标（如PSNR、SSIM）在此区间易饱和导致灵敏度不足；构建过程中需克服主观评估的高成本与复杂性，通过众包平台（如Amazon Mechanical Turk）实施大规模 triplet 比较实验时，需保证跨编解码器质量尺度对齐和参与者可靠性验证，同时处理高分辨率图像裁剪带来的评估一致性难题。

常用场景

经典使用场景

在图像压缩技术追求高保真度的背景下，JPEG AIC-3数据集被广泛应用于评估客观图像质量指标在近乎无损压缩范围内的性能。该数据集通过主观测试方法捕获细微压缩伪影的感知差异，为研究者提供了一个标准化的基准平台，用于测试和比较不同质量指标在高质量图像压缩场景中的敏感性和可靠性。

解决学术问题

JPEG AIC-3数据集解决了高保真图像压缩领域中客观质量指标评估的空白问题，特别是在Just Noticeable Difference（JND）阈值附近的细微失真检测。它通过引入Z-RMSE等新评估标准和统计测试方法，提供了更精确的指标性能分析，推动了感知对齐质量指标的开发，并对压缩算法优化和标准化工作产生了深远影响。

衍生相关工作

JPEG AIC-3数据集催生了一系列经典研究工作，包括对CVVDP、IW-SSIM等指标在高质量范围内的性能验证，以及新评估方法如Z-RMSE和统计测试的应用。这些工作不仅扩展了图像质量评估的理论框架，还为JPEG AIC-4等后续倡议提供了基础，推动了感知质量指标的进一步发展和标准化进程。