FACTUAL Scene Graph dataset

FACTUAL场景图数据集包含40,369个实例，具有词形化的谓词/关系。

The FACTUAL scene graph dataset comprises 40,369 instances, featuring lemmatized predicates/relations.

原始信息汇总

数据集概述

FACTUAL Scene Graph 数据集

• 数据集大小: 包含40,369个实例，所有谓词/关系均已词形还原。
• 存储位置: data/factual_sg/factual_sg.csv
• 从Huggingface加载: load_dataset(lizhuang144/FACTUAL_Scene_Graph)
• 数据分割:
  • 随机分割:
    • 训练集: data/factual_sg/random/train.csv
    • 测试集: data/factual_sg/random/test.csv
    • 验证集: data/factual_sg/random/dev.csv
  • 长度分割:
    • 训练集: data/factual_sg/length/train.csv
    • 测试集: data/factual_sg/length/test.csv
    • 验证集: data/factual_sg/length/dev.csv
• 数据字段:
  • image_id: 图像在Visual Genome中的ID。
  • region_id: 区域在Visual Genome中的ID。
  • caption: 图像区域的描述。
  • scene_graph: 图像区域和描述的场景图。

FACTUAL-MR 数据集

• 状态: 待添加已清理的FACTUAL-MR数据集。

VG Scene Graph 数据集

• 从Huggingface加载: load_dataset(lizhuang144/VG_scene_graph_clean)
• 详细信息: 已清理以排除空实例，包含290万个实例。

FACTUAL Scene Graph 数据集（带标识符）

• 从Huggingface加载: load_dataset(lizhuang144/FACTUAL_Scene_Graph_ID)
• 增强功能: 包含动词标识符、被动语态指示符和节点索引。

数据集相关资源

• 图像和区域详细信息: 请根据相应的ID从Visual Genome获取详细信息。

数据集使用示例

• 基本使用: 展示了如何使用预训练模型进行场景图解析。
• 高级使用: 使用SceneGraphParser类进行更复杂的解析。

数据集评估工具

• 支持的输入格式: 支持多种输入格式，包括候选描述和参考场景图的列表。
• 安装: pip install FactualSceneGraph
• 使用示例: 提供了使用SPICE、SoftSPICE和Set Match等方法评估场景图的示例。

人类相关性能

• 评估: 在Flickr8k数据集上评估了不同模型与人类判断的相关性。
• 结果: 提供了不同模型的Tau-c相关性值。

引用信息

• BibTeX引用: 提供了用于引用该数据集和相关研究的BibTeX条目。

搜集汇总

数据集介绍

构建方式

FACTUAL Scene Graph数据集通过从Visual Genome数据集中提取图像区域及其对应的描述，构建了一个包含40,369个实例的场景图数据集。每个实例包括图像ID、区域ID、图像区域的描述以及对应的场景图。数据集通过随机分割和长度分割两种方式进行划分，分别生成训练集、测试集和验证集，确保了数据集的多样性和适用性。

特点

FACTUAL Scene Graph数据集的显著特点在于其对谓词/关系的词形还原处理，使得数据在语义上更加一致和准确。此外，数据集提供了详细的场景图标注，包括动词标识符和节点索引，这些增强的标注为复杂场景图解析任务提供了更丰富的上下文信息。通过这些特点，数据集能够支持更精确的场景图解析和语义理解任务。

使用方法

FACTUAL Scene Graph数据集可以通过Huggingface的`load_dataset`函数直接加载，用户可以选择加载包含动词标识符和节点索引的增强版本。数据集支持多种场景图解析模型的训练和评估，用户可以通过安装`FactualSceneGraph`包来使用预训练模型进行场景图生成。此外，数据集还提供了详细的评估工具，支持SPICE、SoftSPICE和Set Match等指标的计算，帮助用户全面评估模型的性能。

背景与挑战

背景概述

FACTUAL Scene Graph数据集是由Monash University、Adobe和Wuhan University的研究团队于2023年共同创建的，旨在解决文本场景图解析中的忠实性和一致性问题。该数据集的核心研究问题是如何在文本描述中准确解析场景图，以确保解析结果与原始文本的语义一致且忠实。FACTUAL数据集包含了40,369个实例，涵盖了经过词形还原的谓词和关系，为场景图解析领域的研究提供了丰富的资源。该数据集的发布不仅推动了自然语言处理领域的发展，还为图像描述生成和语义理解等下游任务提供了重要的基准。

当前挑战

FACTUAL Scene Graph数据集在构建过程中面临了多个挑战。首先，如何从文本中准确提取场景图，确保解析结果的忠实性和一致性，是该数据集面临的主要挑战之一。其次，数据集的构建需要处理大量的文本和图像数据，确保每个实例的标注准确且符合语义逻辑。此外，场景图解析模型的评估也是一个重要挑战，需要设计合适的评估指标（如SPICE F-score和Exact Set Match）来衡量模型的性能。最后，如何在保持数据集规模的同时，确保数据的质量和多样性，也是该数据集构建过程中需要解决的问题。

常用场景

经典使用场景

FACTUAL Scene Graph数据集在文本场景图解析领域中具有广泛的应用，尤其在自然语言处理和计算机视觉的交叉研究中表现突出。该数据集通过提供丰富的场景图信息，帮助模型理解文本中的实体及其关系，从而实现对复杂语义结构的解析。经典的使用场景包括：基于文本生成场景图、场景图的自动评估、以及通过场景图进行图像描述的生成与理解。

解决学术问题

FACTUAL Scene Graph数据集解决了自然语言处理领域中场景图解析的忠实性和一致性问题。传统的场景图解析方法往往存在信息丢失或错误解析的情况，而该数据集通过引入详细的谓词和节点索引，确保了解析结果的准确性和一致性。这不仅提升了模型的解析能力，还为后续的复杂任务如图像描述生成和语义理解提供了坚实的基础。

衍生相关工作

FACTUAL Scene Graph数据集的发布催生了一系列相关研究工作，特别是在场景图解析和多模态学习领域。许多研究者基于该数据集开发了新的模型和算法，如基于Flan-T5的场景图解析模型，这些模型在解析精度和效率上均有显著提升。此外，该数据集还促进了多模态任务的评估标准的发展，推动了相关领域的技术进步。