dataset-metafore

Dataset Metafore 是一个专注于隐喻理解的数据集，包含从意大利议会记录中提取的140个隐喻。数据集收集了人类参与者对每个隐喻的自由形式解释，并对表达的传统性和句子上下文的适当性进行了评分（1-5分）。此外，数据集还包括通过程序生成的两种干扰项：字面干扰项（LD）和相反隐喻干扰项（OMD）。多个自回归语言模型（如GePpeTto、Minerva系列、LLaMAntino）通过计算每个人类解释和干扰项的对数似然进行了评估，提供了归一化的对数概率和排名。数据集的主要文件包括每个隐喻的元数据、人类解释和评分、模型评分等，适用于隐喻理解、语言模型评估等研究任务。

原始信息汇总

Dataset Metafore 数据集概述

基本信息

• 数据集标题: Dataset Metafore
• 语言: 意大利语 (it)
• 许可证: MIT
• 数据规模: 1K<n<10K
• 任务类别: 文本分类、特征提取、文本生成
• 标签: 隐喻、心理学、意大利语、语言学

相关论文

• 标题: Language Models and the Magic of Metaphor: A Comparative Evaluation with Human Judgments
• 作者: Simone Mazzoli, Alice Suozzi, Gianluca Lebani
• 会议: Proceedings of the Eleventh Italian Conference on Computational Linguistics (CLiC-it 2025)
• 链接: https://aclanthology.org/2025.clicit-1.68/

数据内容与来源

• 核心数据: 包含140个从意大利议会记录（众议院，2008–2022）中提取的隐喻。
• 数据收集:
  • 人类参与者为每个隐喻提供了自由形式的解释。
  • 参与者对表达式的常规性和句子上下文的充分性进行了评分（1-5分）。
• 干扰项: 为每个隐喻通过编程方式创建了两个干扰项：字面干扰项 和 相反隐喻干扰项。
• 模型评估: 对多个自回归大语言模型（GePpeTto, Minerva家族, LLaMAntino）进行了评估，计算了每个人类解释和干扰项的对数似然；提供了归一化对数概率和排名。

数据集配置与文件

数据集包含多个配置，对应不同的数据文件：

1. analisi

   • 数据文件: analysis/*.csv

2. analysis/min_1b_logprobs

   • 特征:
     • m_id (string): 隐喻标识符
     • metafora (string): 隐喻
     • interpretazione (string): 解释
     • model_score (float64): 模型分数
     • probability_normalized (float64): 归一化概率
     • __index_level_0__ (int64): 索引
   • 拆分: train (2540个示例)

3. analysis/min_3b_logprobs

   • 特征: 与 analysis/min_1b_logprobs 相同
   • 拆分: train (2540个示例)

4. clustering

   • 数据文件: clustering/*.csv

5. default

   • 数据文件: metafore/*.csv, results/interpretazioni_esperimento.csv

6. metafore

   • 数据文件: data/metafore.csv

7. partecipanti

   • 数据文件: data/partecipanti_dati_anagrafici.csv

8. risultati

   • 数据文件: results/*.csv

主文件详情 (dataset-metafore.csv)

• 描述: 每个隐喻一行（共140行）。包含主要实验项目、平衡信息、向参与者展示的提示语以及汇总的人类判断统计数据。
• 列说明:
  • questionario (string): 项目出现的问卷标识符（如 Q1–Q10）
  • m_id (string): 隐喻标识符（如 M1, M42）
  • gruppo_bilanciamento (string): 平衡组（G1–G7），对应句法模式分布
  • item (string): 包含隐喻的完整句子
  • v_term (string): 被标注为隐喻的词汇项
  • pattern (string): 隐喻的句法模式（如 N₁ di N₂, V ∼ N）
  • valenza (string): 隐喻元素的配价（nessuno, intransitiva, transitiva）
  • classe_lessicale (string): 隐喻元素的词性（如 N₁, Verbo, Aggettivo）
  • prompt (string): 向参与者展示的用于引发解释的句子框架
  • avg_conv (numeric): 平均常规性评分（1–5）
  • avg_cntxt (numeric): 平均上下文充分性评分（1–5）
  • entropia di shannon (numeric): 解释分布的香农熵（变异性的度量）
  • consenso_max (numeric): 最大共识分数（最常见解释的相对频率）
  • n_int (integer): 为该条目收集的人类解释数量

平衡句法组

模式	配价	隐喻元素（词性）	组大小 (n = 140)
N₁ di N₂	无	名词₁	20
N ∼ Adj	无	名词	20
N ∼ Adj	无	形容词	20
N₁ = N₂	无	名词₂	20
V ∼ N (不及物)	不及物	动词	20
V ∼ N (及物)	及物	动词	20
V ∼ N (及物)	及物	动词 和 名词	20

搜集汇总

数据集介绍

构建方式

在隐喻研究的学术背景下，Dataset Metafore的构建体现了严谨的实证设计。数据集核心源于意大利议会转录文本，从中系统性地提取了140个隐喻表达。研究者为每个隐喻设计了平衡的句法模式分组，并招募人类参与者进行自由解释与评分。同时，为每个隐喻生成了字面干扰项和反向隐喻干扰项，并利用多个意大利语预训练语言模型计算了人类解释与干扰项的对数似然概率，从而构建了一个融合人类认知数据与模型计算指标的复合型语料库。

使用方法

对于致力于隐喻计算建模或心理语言学实证研究的使用者而言，该数据集提供了清晰的应用路径。研究者可直接加载主元数据文件以获取隐喻条目、人类评分及聚合统计信息，用于分析隐喻特性与人类判断之间的关系。模型评估相关的配置文件则包含了语言模型对解释与干扰项的概率评分，便于进行模型与人类表现的对比分析。数据集支持文本分类、特征提取乃至文本生成等多种任务，为探索语言模型理解隐喻的能力提供了标准化的评估框架。

背景与挑战

背景概述

隐喻作为人类认知与语言表达的核心机制，长期受到计算语言学与心理语言学的共同关注。Dataset Metafore 由 Simone Mazzoli、Alice Suozzi 和 Gianluca E. Lebani 等研究人员于2025年构建，其核心研究问题在于系统评估意大利语预训练语言模型在隐喻理解任务上的表现，并与人类判断进行对比。该数据集从意大利议会转录文本中提取了140个隐喻实例，并收集了人类参与者对这些隐喻的自由解释与评分，旨在为隐喻的计算建模提供高质量的基准数据，推动自然语言处理在具身认知与语义理解交叉领域的发展。

当前挑战

在隐喻计算建模领域，核心挑战在于如何量化语言模型对非字面意义的捕捉能力，并使其与人类直觉判断对齐。Dataset Metafore 的构建过程面临多重挑战：其一，隐喻的句法模式与词汇类别需系统平衡，以确保数据集的代表性与泛化能力；其二，人类解释的主观性与多样性要求设计严谨的共识度量与熵值计算；其三，生成有效的干扰项（如字面干扰与对立隐喻干扰）需要精细的语言学规则，以避免评估偏差。这些挑战共同指向了自然语言处理在深层语义理解上的根本性难题。

常用场景

经典使用场景

在计算语言学和认知科学领域，隐喻理解是探究人类语言认知机制的核心议题。Dataset Metafore 为研究者提供了一个系统评估语言模型隐喻理解能力的基准平台。该数据集通过收集意大利议会演讲中的隐喻实例，并配以人类参与者的自由解释与评分，使得学者能够深入分析不同句法模式下隐喻的常规性与语境适切性。经典使用场景涉及利用该数据集进行语言模型的对比实验，通过计算模型对人类解释与程序化生成干扰项的归一化对数概率，从而量化模型在隐喻理解任务上的表现，为隐喻处理的计算建模提供实证基础。

解决学术问题

Dataset Metafore 有效应对了隐喻计算研究中长期存在的挑战，即缺乏大规模、结构化的多维度人工标注数据。该数据集通过精心设计的平衡句法组别，涵盖了名词短语、动词结构等多种隐喻模式，并整合了人类对隐喻常规性与语境适切性的评分，从而解决了如何系统评估语言模型隐喻理解能力与人类认知对齐的学术问题。其意义在于为隐喻处理研究提供了可重复的评估框架，促进了计算语言学与认知心理学在隐喻理解机制上的跨学科对话，推动了更人性化、语境敏感的语言模型发展。

实际应用

超越纯学术探索，Dataset Metafore 在自然语言处理的实际应用中展现出重要价值。其数据可直接用于优化意大利语语言模型在隐喻丰富领域的表现，例如政治话语分析、文学文本处理或跨文化沟通辅助系统。通过分析模型在隐喻解释任务上的概率输出，开发者能够诊断并改进模型对非字面语言的敏感性，从而提升聊天机器人、内容摘要工具及情感分析系统在真实复杂语境下的鲁棒性与准确性，推动面向意大利语的高质量语言技术应用落地。

数据集最近研究

最新研究方向

在计算语言学与认知科学交叉领域，隐喻理解研究正从传统的语义分析转向基于大规模语言模型的评估范式。Dataset Metafore作为意大利语隐喻资源，其最新研究聚焦于比较人类与语言模型在隐喻解释上的认知差异，探索模型对隐喻常规性、语境适切性的量化评估能力。该数据集通过系统构建的字面干扰项和相反隐喻干扰项，为分析模型的语言生成概率与人类判断的一致性提供了实验基础，推动了可解释人工智能在复杂语言现象中的应用，同时为跨文化隐喻研究提供了数据支持。