mediabiasgroup/DefSim

DefSim数据集包含60个定义对，每个对由三个标注者标注了定义相似性，并带有源论文标识符。每行包括左右定义、最小化的上下文摘录和相似性标签。该数据集在我们的论文中介绍和描述（正在审阅中）。与DefExtra不同，DefSim包含短摘录，因为大约一半的对是模型生成的输出，无法仅从PDF中重建。我们保持上下文跨度最小化，以减少受版权保护文本的重新分发，并避免需要用户提供的PDF。

DefSim contains 60 definition pairs labeled (by 3 annotators) for definition similarity, with source paper identifiers. Each row includes a left and right definition, minimized context excerpts, and a similarity label. The dataset is introduced and described in our paper (*under review*). Unlike DefExtra, which is released without paper excerpts and uses hydration scripts, DefSim includes short excerpts because about half of the pairs are model-generated outputs, so they cannot be reconstructed from PDFs alone. We keep context spans minimal to reduce redistribution of copyrighted text and avoid requiring user-supplied PDFs.

搜集汇总

数据集介绍

构建方式

DefSim数据集来源于学术文献中术语定义的相似性评估任务，其构建基础是SciDef项目所产出的DefExtra数据集以及大语言模型生成的文本。数据集共包含60对定义，每对定义由三位标注者依据其语义相似程度进行独立标注，形成人类评判的基准。定义对分为三种类型：均来自DefExtra的真实定义对（GTGT）、真实与模型生成定义混合对（GTP）、以及完全由LLM生成定义对（PP），系统性地覆盖了人工撰写与机器生成定义之间的语义对齐情形。为保持数据可复现性，每对定义附有最小化的上下文摘录与来源论文标识符；模型生成的标签与NLI相似度分数亦被一并收录，借助对tasksource/ModernBERT-large-nli模型双向推理的均值进行计算。

特点

DefSim的核心特色在于其多维度的相似性标注体系与组合式对比结构。每对定义不仅提供面向定义文本本身的相似度人类评分（def_rating_mean与def_rating_majority），还同时标注上下文摘录的相似度评分（ctx_rating_mean与ctx_rating_majority），这一设计使得模型可以在语义层次与语境层次上分别学习定义的对齐程度。此外，数据集中包含模型预测标签与NLI相似度分数等辅助列，便于进行监督学习或无监督语义匹配实验。不同pair_kind的引入为跨来源、跨生产方式的定义相似性研究提供了可控变量，支持更精细的分析与评估。

使用方法

DefSim的推荐使用方式是通过结构化数据加载初始化，示例中以Pandas的read_csv函数直接读取CSV格式文件为数据框即可快速开展分析。用户可针对def_rating_mean或def_rating_majority列作为回归或分类任务的目标变量，利用left_definition、right_definition以及left_context、right_context列构建文本对输入特征。对于弱监督设置，可选择nli_def或nli_ctx作为代理标签；若需评估模型预测行为，model_label与model_key列可用于比较不同LLM的表现差异。因上下文摘录已最小化纳入数据集，无需用户自行提供PDF文件或使用水合脚本，降低了数据预处理负担。建议在学术引用时附上arXiv预印本及Zenodo DOI信息以确保可追溯性。

背景与挑战

背景概述

DefSim数据集由Media Bias Group的研究团队于2026年创建，核心研究人员包括Filip Kučera、Christoph Mandl、Isao Echizen、Radu Timofte和Timo Spinde，相关论文正在CIKM 2026审稿中。该数据集聚焦于学术文献中术语定义的语义相似性度量，旨在解决自然语言处理领域内定义提取与比较的标准化问题。作为SciDef项目的一部分，DefSim提供了60对由三名标注者标注的定义对，涵盖手动定义与大语言模型生成定义的多种对比类型（如GTGT、GTP、PP）。通过引入人类评分与基于NLI的自动化评分，该数据集为定义相似性研究建立了基准，推动了学术文献自动化理解与信息检索领域的发展。

当前挑战

DefSim所解决的领域问题在于学术文献中定义相似性的精确度量，这一任务长期面临主观性强、上下文依赖度高的挑战，传统方法难以准确捕捉定义间的语义等价性。在构建过程中，团队面临多重难题：约半数定义对由大语言模型生成，无法从原始PDF中直接重建，需依赖模型输出；同时，为避免版权问题，上下文片段被压缩至最小，可能损失部分语义信息；此外，不同定义类型（显式与隐式）的标注一致性亦需精细设计，标注者间的评分差异反映了定义相似性判断的内在复杂性。

常用场景

经典使用场景

DefSim数据集专为学术文献中术语定义相似性评估而设计，常用于文本分类与句子相似度计算任务。研究者可利用该数据集训练和验证模型，判断来自不同学术论文中的同一术语定义是否语义相近，从而推动定义规范化与知识对齐研究。

解决学术问题

该数据集解决了学术文献中定义表述不一致导致的语义鸿沟问题。通过人工标注的定义对相似度评分，DefSim为量化定义间的语义距离提供了基准，助力研究者在术语消歧、知识图谱构建和学术信息检索中实现更精准的匹配与融合。

衍生相关工作

DefSim衍生出多项相关工作，如结合大语言模型的定义抽取工具SciDef、用于扩展定义对的DefExtra数据集，以及基于NLI的相似度评分方法。这些工作共同构建了从定义提取到相似性评估的完整研究链条，为学术文本自动处理领域提供了重要基础设施。