AIML-TUDA/socio-moral-image-rationales

这是一个包含对图像中不道德内容的机器生成和人工标注解释的数据集。这些图像来源于Socio-Moral Image Database (SMID)，并且仅限于显示不道德内容的图像。解释是通过视觉语言模型使用ILLUME范式生成的，并由人类注释者进行评分。数据集已经预先分为训练集和测试集，并包含多个字段，如图像ID、道德评分、解释、人类评分等。

原始信息汇总

Socio-Moral Image Rationales

数据集概述

• 名称: Socio-Moral Image Rationales
• 内容: 包含机器生成的和人工标注的图像不道德内容的解释。
• 图像来源: 来自Socio-Moral Image Database (SMID)，仅限于道德平均分（SMID moral mean）小于等于2.0的图像。
• 解释生成: 使用ILLUME范式，由视觉-语言模型生成，该范式在ILLUME: Rationalizing Vision-Language Models through Human Interactions中提出。
• 人工评分: 解释由人工标注者评分，评分范围1-4，其中1为最佳。评分标准如下：
  1. 优秀
  2. 充分/满意
  3. 弱（但方向正确）
  4. 差/无关

数据集结构

• 文件包含字段:
  • smid_image_id: 图像在SMID数据集中的标识符。
  • smid_moral_mean: 来自SMID的道德平均分，范围1-5，分数越低表示越不道德。
  • rationale: 图像不道德性的生成解释。
  • human_rating: 根据上述评分系统的人工评分。
  • fitting_rationale: 是否为合适的解释，即评分小于等于2。

数据集分割

• 数据预先分为训练集和测试集。

引用信息

bibtex @inproceedings{brack2023illume, title={ILLUME: Rationalizing Vision-Language Models through Human Interactions}, author={Manuel Brack and Patrick Schramowski and Björn Deiserath and Kristian Kersting}, year={2023}, booktitle={Proceedings of the 40th International Conference on Machine Learning (ICML)} }

搜集汇总

背景与挑战

背景概述

该数据集包含机器生成和人工标注的图像不道德内容解释，来源于SMID数据库中道德评分≤2.0的图像。每个解释都有人类评分和适合性标记，适用于研究视觉语言模型的解释能力。数据集格式为CSV，大小适中，适合用于相关研究。