O-MRE

该数据集旨在评估整合文本和视觉信息的重叠多模态关系提取（O-MRE）模型。每个实例包含带有标注实体和关系的句子，以及来自原始多模态数据集的相应图像引用。数据以JSON格式提供，包括分词文本序列、实体列表、实体对关系列表和关联图像文件。

This dataset is designed to evaluate overlapping multimodal relation extraction (O-MRE) models that integrate textual and visual information. Each instance contains a sentence with annotated entities and relations, as well as corresponding image references from the original multimodal dataset. The data is provided in JSON format, including tokenized text sequences, entity lists, relation lists for entity pairs, and associated image files.

原始信息汇总

O-MRE 数据集概述

数据集基本信息

• 数据集名称：O-MRE 测试数据集
• 核心用途：评估融合文本和视觉信息的重叠多模态关系抽取模型
• 数据格式：JSON格式（merged_test_data.json）
• 数据来源：基于原始多模态数据集MNRE和JMERE构建

数据内容结构

文本信息

• words字段：分词后的文本序列，每个元素代表句子中的一个词元

实体标注

• entity_list字段：实体列表
  • 每个元素包含name（实体字符串）和pos（在words序列中的起止索引）

关系标注

• entity_pair_list字段：实体对及其关系列表
  • 每个元素格式为[head_index, tail_index, relation_id, sample_id]
  • head_index和tail_index对应entity_list中的实体索引

图像信息

• imgids字段：主要图像文件名或路径，来自原始数据集
• aux_imgs字段：辅助图像路径，通常由检测模型生成
• rcnn_imgs字段：区域裁剪图像路径，由Faster-RCNN等检测器生成

图像数据来源

• MNRE数据集：https://github.com/thecharm/MNRE
• JMERE数据集：https://github.com/jmre-team/JMERE

使用说明

• 本仓库不重新分发任何图像文件
• 图像数据需直接从官方仓库下载，遵循原始许可和使用条款

引用要求

使用本数据集需引用： bibtex @article{wang2025mhin, title={MHIN: A Hierarchical Interaction Network for Overlapping Multimodal Relation Extraction}, author={Wang, Hailin and Ren, Hangyi and Zhang, Dan and Ma, Ao and Du, Zhekai and Liu, Guisong and Qin, Ke}, journal={***********}, year={2025} }

搜集汇总

数据集介绍

构建方式

在多媒体信息抽取领域，O-MRE数据集通过整合文本与视觉模态构建而成。该数据集以JSON格式组织，每个样本包含分词后的句子序列、实体位置标注及实体间的关系对。图像数据源自公开的MNRE与JMERE原始数据集，涵盖主图像、辅助检测图像及区域裁剪图像三类视觉信息，确保了多模态特征的完整性与可追溯性。

使用方法

研究者可通过加载JSON文件直接访问数据，利用Python解析工具提取文本序列、实体列表及关系标注。图像数据需根据原数据集授权条款从官方仓库独立下载，并与JSON中的路径字段进行关联。该数据集适用于评估多模态关系抽取模型的性能，尤其擅长验证文本与视觉信息融合在重叠关系识别中的有效性。

背景与挑战

背景概述

随着多模态人工智能技术的蓬勃发展，2025年由王海林等学者构建的O-MRE数据集应运而生，专注于解决重叠多模态关系抽取这一前沿课题。该数据集依托MNRE与JMERE两大权威多模态数据集构建，通过融合文本描述与视觉信息，旨在推动实体关系识别技术在多源信息融合场景下的突破。其创新性地引入重叠关系标注机制，为研究跨模态语义对齐与交互建模提供了重要基准，显著提升了多模态知识图谱构建与智能问答系统的理论基础。

当前挑战

在重叠多模态关系抽取领域，核心挑战在于解决文本与视觉信息间的语义鸿沟问题，例如同一实体在不同模态中可能呈现矛盾特征。数据构建过程中面临多重困难：原始图像数据需从分散的MNRE与JMERE仓库整合，且需保持目标检测模型生成的特征裁剪图像与文本标注的时空一致性。此外，实体对在重叠场景下的关系标注需要精确对齐多模态特征，这对标注规范与质量验证提出了极高要求。

常用场景

经典使用场景

在自然语言处理与计算机视觉的交叉领域，O-MRE数据集为重叠多模态关系抽取任务提供了标准化评估基准。该数据集通过整合文本描述与对应视觉信息，支持模型同时处理多个实体间的复杂语义关联，典型应用于验证多模态神经网络在实体关系三元组识别中的性能表现。

解决学术问题

该数据集有效解决了传统关系抽取模型对重叠关系建模不足的学术难题。通过提供包含文本实体标注与图像关联的平行数据，推动了多模态语义融合机制的研究，显著提升了模型对视觉语境下实体交互关系的理解能力，为跨模态知识表示学习提供了重要支撑。

实际应用

在智慧医疗与知识图谱构建场景中，该数据集支撑的模型可自动解析医学文献中的病症-药物关联并匹配影像资料。其技术路径同样适用于社交媒体内容分析，能够从图文混合信息中提取人物关系网络，为舆情监控和智能检索系统提供结构化数据支持。

数据集最近研究

最新研究方向

在信息抽取领域，重叠多模态关系抽取（O-MRE）正成为融合文本与视觉信息的前沿研究方向。该数据集通过整合MNRE和JMERE的测试数据，推动模型处理实体对间的复杂重叠关系，例如同一实体可能参与多个关系三元组。当前研究聚焦于构建层次化交互网络，如MHIN模型，旨在精准捕捉跨模态语义关联，应对视觉目标检测与文本实体对齐的挑战。这类技术对知识图谱构建、智能问答系统具有深远影响，为多模态人工智能的发展提供了关键数据支撑。