Polaris-exp and Nebula-exp

`Polaris-exp`和`Nebula-exp`数据集位于`exp_datasets/`目录中。它们是[Polaris](https://huggingface.co/datasets/yuwd/Polaris)和[Nebula](https://huggingface.co/datasets/Ka2ukiMatsuda/Nebula)的扩展版本，为每个图像-标题对添加了**解释**。每个解释根据三个维度进行结构化：**流畅性**、**相关性**和**描述性**。这些数据集用于训练EXPERT。`Polaris-exp`根据原始Polaris数据集的[许可证](https://github.com/keio-smilab24/Polos/blob/master/LICENSE)发布在[Clear BSD License](https://github.com/hjkim811/EXPERT/blob/main/exp_datasets/LICENSE)下。

`Polaris-exp`与`Nebula-exp`数据集存储于`exp_datasets/`目录下。二者均为[Polaris](https://huggingface.co/datasets/yuwd/Polaris)与[Nebula](https://huggingface.co/datasets/Ka2ukiMatsuda/Nebula)的扩展版本，为每一组图像-标题对添加了**解释**。每条解释均按照三大维度进行结构化组织：**流畅性**、**相关性**与**描述性**。该系列数据集用于训练EXPERT。`Polaris-exp`数据集依据原始Polaris数据集的[许可证](https://github.com/keio-smilab24/Polos/blob/master/LICENSE)，采用[Clear BSD许可证（Clear BSD License）](https://github.com/hjkim811/EXPERT/blob/main/exp_datasets/LICENSE)进行发布。

原始信息汇总

EXPERT数据集概述

数据集简介

• 名称：EXPERT (Explainable Image Captioning Evaluation Metric with Structured Explanations)
• 类型：图像描述评估指标数据集
• 功能：提供无参考的图像描述评估，生成结构化解释（基于流畅性、相关性和描述性）

包含子数据集

1. Polaris-exp

   • 扩展版本：在原Polaris数据集基础上增加解释
   • 授权协议：Clear BSD License
   • 原始数据集地址：https://huggingface.co/datasets/yuwd/Polaris

2. Nebula-exp

   • 扩展版本：在原Nebula数据集基础上增加解释
   • 原始数据集地址：https://huggingface.co/datasets/Ka2ukiMatsuda/Nebula

数据特征

• 结构化解释包含三个维度：
  • Fluency (流畅性)
  • Relevance (相关性)
  • Descriptiveness (描述性)

配套图像数据集

• Flickr8k_Dataset：https://www.kaggle.com/datasets/adityajn105/flickr8k
• Flickr30k_Dataset：https://www.kaggle.com/datasets/hsankesara/flickr-image-dataset
• Polaris：https://github.com/keio-smilab24/Polos?tab=readme-ov-file#datasets
• Nebula：https://github.com/Ka2ukiMatsuda/DENEB?tab=readme-ov-file#dataset
• VOC2012：http://host.robots.ox.ac.uk/pascal/VOC/voc2012/#devkit
• val2014：http://images.cocodataset.org/zips/val2014.zip

使用方式

bash

仅获取评分

python expert.py --input_json flickr8k.json

获取评分和解释

python expert.py --input_json flickr8k.json --explanation True

支持的数据集参数

• flickr8k.json (Flickr8k-EX)
• crowdflower_flickr8k.json (Flickr8k-CF)
• composite.json (COMPOSITE)
• polaris_test.json (Polaris)
• nebula_test.json (Nebula)
• pascal_50s.json (Pascal-50S)

相关论文

• 标题：EXPERT: An Explainable Image Captioning Evaluation Metric with Structured Explanations
• 作者：Kim, Hyunjong等
• 预印本：https://arxiv.org/abs/2506.24016
• 年份：2025

搜集汇总

数据集介绍

构建方式

Polaris-exp和Nebula-exp数据集是基于原始Polaris和Nebula数据集扩展而来，通过为每个图像-标题对添加结构化解释构建而成。这些解释按照流畅性、相关性和描述性三个维度进行组织，旨在为图像描述生成任务提供更细致的评估依据。数据集的构建严格遵循原始数据的许可协议，确保了法律合规性和学术规范性。

使用方法

使用该数据集时，需首先按照指定目录结构下载相关图像数据，并通过配套的EXPERT评估工具进行自动化分析。用户可通过命令行参数灵活控制输出内容，包括是否生成解释性文本及是否打印详细日志。数据集支持多种主流图像描述基准测试，研究者可根据需求选择不同的配置文件进行针对性评估。

背景与挑战

背景概述

Polaris-exp与Nebula-exp数据集是图像描述生成领域的重要资源，由Kim等研究团队于2025年基于原始Polaris和Nebula数据集扩展构建。作为EXPERT评估框架的核心训练数据，这两个数据集创新性地为每对图像-描述样本添加了结构化解释，涵盖语言流畅性、内容相关性和描述丰富性三个维度。该数据集的诞生标志着图像描述评估从单纯分数导向转向可解释性分析，为多模态人工智能模型的透明化评估提供了新范式。其采用的Clear BSD许可协议确保了学术研究的可及性，已成为推动可解释AI发展的重要基础设施。

当前挑战

在解决图像描述自动评估的可解释性难题时，Polaris-exp与Nebula-exp面临双重挑战：领域层面需突破传统评估指标对人工参考描述的依赖，构建能同时量化质量维度并生成解释的评估体系；数据构建过程中，如何确保三个解释维度的标注一致性成为关键，特别是当描述涉及复杂场景时，不同标注者对相关性与描述性的判断易产生分歧。此外，跨数据集的泛化能力要求原始Polaris和Nebula数据的选择必须具有足够的多样性和代表性，这对图像采样策略和标注流程设计提出了极高要求。

常用场景

经典使用场景

在计算机视觉与自然语言处理的交叉领域，Polaris-exp和Nebula-exp数据集为图像描述生成模型的评估提供了结构化解释框架。这些数据集通过标注流畅性、相关性和描述性三个维度的解释，成为训练EXPERT等无参考评估指标的核心资源。其典型应用场景包括对Flickr8k、Flickr30k等主流基准数据集的自动评估，研究者可通过量化分析生成描述与图像语义的匹配程度，系统优化多模态模型的性能表现。

解决学术问题

该数据集有效解决了图像描述评估中解释性不足的学术痛点。传统评估指标如BLEU或CIDEr仅提供数值分数，而Polaris-exp和Nebula-exp通过结构化解释揭示了评分依据，使研究者能精准定位模型在语言流畅度、视觉关联度等维度的缺陷。这种细粒度分析推动了可解释AI在跨模态任务中的应用，为改进视觉语言预训练模型的语义对齐能力提供了理论依据。

实际应用

在实际应用中，这些数据集被广泛部署于智能辅助系统开发。例如在视障人士导航应用中，基于Polaris-exp训练的评估模型可实时检测生成描述的准确性，并通过三维度解释反馈给系统进行动态优化。电商平台则利用该技术自动校验商品图像与文案的匹配度，显著提升了跨模态检索系统的用户体验与商业转化率。

数据集最近研究

最新研究方向

在图像描述生成领域，评估指标的可解释性正成为研究热点。Polaris-exp和Nebula-exp数据集通过引入结构化解释机制，为评估过程提供了多维度的分析框架。这些数据集在原始版本基础上，针对每个图像-描述对增加了基于流畅性、相关性和描述性的解释标注，为训练可解释评估模型EXPERT提供了重要支撑。当前研究趋势表明，结合大语言模型的解释生成能力与细粒度评估维度，正在推动图像描述技术向更透明、更可信的方向发展。这类数据集的出现，不仅解决了传统评估指标黑箱化的问题，还为跨模态理解任务提供了新的研究范式。