DFKI-SLT/scidtb

SciDTB是一个特定领域的话语树库，标注在英文科学文章上。与广泛使用的RST-DT和PDTB不同，SciDTB使用依赖树来表示话语结构，这种方式在某种程度上更为灵活和简化，但不会牺牲结构的完整性。此外，该树库被用作评估话语依赖解析器的基准。该数据集可以有益于许多下游NLP任务，如机器翻译和自动摘要。数据集包含训练、开发和测试三个部分，每个数据点由依赖树的节点列表组成，每个节点包含id、parent、text和relation四个字段。SciDTB is a domain-specific discourse treebank annotated on English scientific articles. Unlike the widely used RST-DT and PDTB, SciDTB uses dependency trees to represent discourse structure, which is more flexible and simplified to some extent without compromising structural integrity. Furthermore, this treebank serves as a benchmark for evaluating discourse dependency parsers. The dataset can benefit a wide range of downstream natural language processing (NLP) tasks, such as machine translation and automatic summarization. The dataset includes three splits: training, development, and testing. Each data point is composed of a list of nodes from the dependency tree, where each node contains four fields: id, parent, text, and relation.

原始信息汇总

数据集概述

数据集名称

• 名称: Scientific Dependency Tree Bank (SciDTB)

数据集摘要

• 摘要: SciDTB是一个特定领域的英语科学文章语篇树库，使用依赖树来表示语篇结构，旨在评估语篇依赖解析器。该数据集适用于多种下游NLP任务，如机器翻译和自动摘要。

支持的任务

• 任务: 语篇依赖解析

语言

• 语言: 英语 (en-US)

数据集结构

数据实例

• 结构: 每个数据点包含一个root字段，该字段是一个依赖树中节点的列表。每个节点包含id, parent, text, relation四个字段。

数据字段

• 字段:
  • id: 节点标识符
  • parent: 父节点标识符
  • text: 节点文本
  • relation: 节点与父节点之间的语篇关系

数据分割

• 分割: 数据集分为train, dev, test三个部分，具体数据量为：
  • train: 743
  • dev: 154
  • test: 152

数据集创建

注释过程

• 注释: 由专家生成，详细过程可参考论文。

使用数据集的考虑

数据集影响

• 影响: 未提供详细信息。

数据集偏见

• 偏见: 未提供详细信息。

其他已知限制

• 限制: 未提供详细信息。

附加信息

数据集管理者

• 管理者: 未提供详细信息。

许可证信息

• 许可证: 未提供详细信息。

引用信息

• 引用:

  @inproceedings{yang-li-2018-scidtb, title = "{S}ci{DTB}: Discourse Dependency {T}ree{B}ank for Scientific Abstracts", author = "Yang, An and Li, Sujian", booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)", month = jul, year = "2018", address = "Melbourne, Australia", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/P18-2071", doi = "10.18653/v1/P18-2071", pages = "444--449", abstract = "Annotation corpus for discourse relations benefits NLP tasks such as machine translation and question answering. In this paper, we present SciDTB, a domain-specific discourse treebank annotated on scientific articles. Different from widely-used RST-DT and PDTB, SciDTB uses dependency trees to represent discourse structure, which is flexible and simplified to some extent but do not sacrifice structural integrity. We discuss the labeling framework, annotation workflow and some statistics about SciDTB. Furthermore, our treebank is made as a benchmark for evaluating discourse dependency parsers, on which we provide several baselines as fundamental work.", }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，语篇结构分析对于理解文本的逻辑脉络至关重要。SciDTB（Scientific Dependency Tree Bank）是一个专门面向英文科学文献的语篇依存树库，其构建过程严谨而系统。该数据集源自原始科学论文摘要，由领域专家依据依存树框架进行精细标注。不同于传统的RST-DT和PDTB，SciDTB采用依存树来表征语篇结构，在保持结构完整性的前提下，实现了表示的灵活性与简化。标注流程涵盖节点标识、父节点关联、文本片段划分及语篇关系标注，最终形成了包含训练集（743例）、验证集（154例）和测试集（152例）的标准化语料，为语篇依存解析器的评估提供了基准。

特点

SciDTB数据集的核心特色在于其创新的语篇结构表示方式。它摒弃了传统的层级树模型，转而采用依存树结构，这种设计不仅降低了标注复杂度，还增强了模型对语篇关系的捕获能力。每个数据实例以根节点“ROOT”为起点，通过父子节点关系构建有向图，其中每个节点包含唯一的标识符、父节点索引、文本片段以及具体的语篇关系标签（如“enablement”、“cause”、“elab-aspect”等）。这种结构使得语篇中的因果、对比、详述等复杂关系得以清晰表达，尤其适用于机器翻译和自动摘要等下游任务，展现了在科学文本分析中的独特优势。

使用方法

使用SciDTB数据集时，研究人员可借助HuggingFace平台便捷加载。通过`load_dataset("DFKI-SLT/scidtb")`函数，即可获取预划分的训练、验证和测试子集。每个样本以字典形式呈现，包含`root`字段，其值为节点列表，每个节点具有`id`、`parent`、`text`和`relation`四个属性。在模型训练中，可基于这些字段构建序列标注或图神经网络任务，例如预测节点间的依存关系或语篇标签。此外，该数据集与主流深度学习框架（如PyTorch、TensorFlow）兼容，开发者可将其直接集成到自然语言处理管道中，用于语篇解析器的评估与优化。

背景与挑战

背景概述

在自然语言处理领域，篇章分析旨在揭示文本单元之间的逻辑关系，对于机器翻译、自动摘要等下游任务具有深远影响。传统的篇章语料库如RST-DT和PDTB多采用层级结构或关系结构，虽能刻画复杂篇章关系，但标注成本高昂且结构僵化。为应对这一局限，北京大学杨安和李素建于2018年提出了SciDTB（Scientific Dependency Tree Bank），这是一个面向科学文献的篇章依存树库。该数据集以英文科研论文摘要为对象，采用依存树形式表征篇章结构，在保持结构完整性的同时提升了灵活性与简洁性。SciDTB的发布填补了领域特定篇章依存资源的空白，为篇章依存解析器的评估提供了标准化基准，并推动了篇章分析技术在学术文本上的应用研究。

当前挑战

SciDTB所面临的挑战主要体现在两个层面。在领域问题层面，科学文献语篇具有高度专业化的修辞结构和逻辑关系，如因果、使能、评价等，现有通用篇章分析模型难以准确捕捉这些领域内特有的语义关联。此外，依存树结构虽简化了标注，但如何从线性文本中自动推导出非投影性的依存关系仍是解析器设计的难点。在构建过程中，语料标注面临双重困难：一是科学摘要中长距离的篇章依赖关系使得人工标注一致性难以保证；二是标注框架需在灵活性与结构完整性间寻求平衡，导致定义关系的粒度与类别需反复推敲。这些挑战共同制约了SciDTB在篇章解析任务中的性能上限。

常用场景

经典使用场景

SciDTB（Scientific Discourse Dependency Treebank）作为面向科学文献的篇章依存树库，其核心使用场景在于构建和评估篇章依存句法分析器。该数据集以科学论文摘要为语料，采用依存树结构表征篇章关系，既保留了结构完整性，又具备灵活简化的优势。研究者通常利用其标注的篇章依存关系（如enablement、elab-aspect、cause等）训练序列模型或图神经网络，以捕捉文本片段间的逻辑关联。这一场景不仅为篇章分析提供了标准化的基准测试平台，还推动了自然语言处理领域向更细粒度的科学文本理解迈进。

解决学术问题

该数据集解决了学术研究中科学文本篇章结构建模的瓶颈问题。传统篇章语料库（如RST-DT、PDTB）多基于通用领域，缺乏对科学文献独特修辞结构（如方法-结果-评估的递进关系）的精细刻画。SciDTB通过引入依存树标注框架，有效弥补了这一空白，使得研究者能够系统性地探究学术语篇中的因果、对比、手段-目的等复杂关系。其意义在于为篇章解析提供了领域适配的黄金标准，显著提升了自动摘要、机器翻译等下游任务在科学文本上的性能表现，并催生了针对学术语料的篇章关系分类与结构预测研究。

衍生相关工作

SciDTB衍生了多项经典的学术研究工作。首先，基于该数据集，研究者提出了多种篇章依存解析基线模型，如基于转移的解析器与图注意力网络，为后续算法比较奠定了基准。其次，受其启发，学界涌现了跨领域迁移学习研究，探索如何将SciDTB标注的篇章知识迁移至生物医学或工程技术文本。此外，该语料库还被用于篇章关系蕴含推理任务，推动了逻辑关系建模与自然语言推理的交叉发展。这些工作共同构成了以SciDTB为核心的篇章分析研究生态，持续影响着自然语言处理的前沿进展。