DFKI-SLT/brat

Brat是一个基于Web的文本注释工具，支持多种NLP任务，旨在通过NLP技术提高注释者的生产力。数据集的结构包括文本文件和对应的注释文件，注释文件以standoff格式存储。数据实例展示了注释的具体内容，包括文本、注释的跨度、关系等。数据字段详细描述了每个字段的含义和结构。使用方法部分介绍了如何通过`load_dataset()`方法加载数据集，并提供了示例代码。附加信息部分包括引用信息，但许可证信息缺失。

Brat is a web-based text annotation tool that supports multiple NLP tasks, aiming to improve annotators' productivity via NLP technologies. The dataset structure consists of text files and their corresponding annotation files, which are stored in standoff format. Data instances demonstrate the specific content of annotations, including text, annotation spans, relationships, etc. The data fields elaborate on the meaning and structure of each individual field. The Usage section introduces how to load the dataset through the `load_dataset()` method, and provides sample code. The Additional Information section includes citation information, but the license information is missing.

原始信息汇总

数据集概述

描述

Brat 是一个直观的基于 Web 的文本标注工具，由自然语言处理（NLP）技术支持。Brat 旨在为多种 NLP 任务提供丰富的结构化标注，支持手动整理工作并利用 NLP 技术提高标注者生产力。Brat 特别设计用于结构化标注，其中标注不是自由形式的文本，而是具有固定形式，可以由计算机自动处理和解释。

数据集结构

使用 Brat 格式标注的数据集通过脚本处理。Brat 创建的标注以 standoff 格式存储在磁盘上：标注与被标注的文档文本分开存储，且文本不会被工具修改。每个文本文档都有一个对应的标注文件，两者通过文件命名约定关联，例如，文件 DOC-1000.ann 包含文件 DOC-1000.txt 的标注。

数据实例

json { "context": "<?xml version="1.0" encoding="UTF-8" standalone="no"?> <Document xmlns:gate="http://www.gat...", "file_name": "A01", "spans": { "id": ["T1", "T2", "T4", "T5", "T6", "T3", "T7", "T8", "T9", "T10", "T11", "T12",...], "type": ["background_claim", "background_claim", "background_claim", "own_claim",...], "locations": [{"start": [2417], "end": [2522]}, {"start": [2524], "end": [2640]},...], "text": ["complicated 3D character models...", "The range of breathtaking realistic...", ...] }, "relations": { "id": ["R1", "R2", "R3", "R4", "R5", "R6", "R7", "R8", "R9", "R10", "R11", "R12",...], "type": ["supports", "supports", "supports", "supports", "contradicts", "contradicts",...], "arguments": [{"type": ["Arg1", "Arg2"], "target": ["T4", "T5"]},...] }, "equivalence_relations": {"type": [], "targets": []}, "events": {"id": [], "type": [], "trigger": [], "arguments": []}, "attributions": {"id": [], "type": [], "target": [], "value": []}, "normalizations": {"id": [], "type": [], "target": [], "resource_id": [], "entity_id": []}, "notes": {"id": [], "type": [], "target": [], "note": []} }

数据字段

• context (str): 数据文件的文本内容
• file_name (str): 数据/标注文件的名称（无扩展名）
• spans (dict): context 字符串的跨度标注
  • id (str): 跨度的 ID，以 T 开头
  • type (str): 跨度的标签
  • locations (list): 指示跨度位置的索引（由于片段而可能是多个），包含字典
    • start (list of int): 指示跨度片段包含字符起始位置的索引
    • end (list of int): 指示跨度片段独占字符结束位置的索引
  • text (list of str): 跨度片段的文本
• relations (dict): spans 元素之间的关系序列
  • id (str): 关系的 ID，以 R 开头
  • type (str): 关系的标签
  • arguments (list of dict): 与关系相关的跨度，包含字典
    • type (list of str): 跨度在关系中的参数角色，为 Arg1 或 Arg2
    • target (list of str): 作为关系参数的跨度
• equivalence_relations (dict): 包含 type 和 target（更多信息需要）
• events (dict): 包含 id, type, trigger, 和 arguments（更多信息需要）
• attributions (dict): 任何其他标注的属性标注
  • id (str): 属性标注的实例 ID
  • type (str): 属性标注的类型
  • target (str): 属性标注的目标标注 ID
  • value (str): 属性标注的值或标记
• normalizations (dict): 特定文本表达所指的现实世界实体的唯一标识
  • id (str): 规范化实体的实例 ID
  • type (str): 规范化实体的类型
  • target (str): 规范化实体的目标标注 ID
  • resource_id (str): 与规范化实体关联的资源
  • entity_id (str): 规范化实体的实例 ID
• notes (dict): 添加到标注中的自由形式文本
  • id (str): 笔记的实例 ID
  • type (str): 笔记的类型
  • target (str): 相关标注的 ID
  • note (str): 笔记的文本内容

使用

brat 数据集脚本可以通过调用 load_dataset() 方法并传递 BratConfig 接受的任何参数来使用。至少需要 url 参数。完整参数列表如下：

• url (str): 指向包含 Brat 数据（*.txt）和标注（*.ann）文件的 zip 文件或目录的 URL
• description (str, 可选): 数据集的描述
• citation (str, 可选): 数据集的引用
• homepage (str, 可选): 数据集的主页
• split_paths (dict, 可选): 将（任意）分割名称映射到子目录或文件列表（无扩展名），例如 {"train": "path/to/train_directory", "test": "path/to/test_director"} 或 {"train": ["path/to/train_file1", "path/to/train_file2"]}。在两种情况下（子目录路径或文件路径），路径相对于 URL。如果未提供 split_paths，数据集将从根目录加载，所有直接子文件夹将被视为分割。
• file_name_blacklist (list, 可选): 应忽略的文件名列表（无扩展名），例如 ["A28"]。如果数据集包含无效的 Brat 文件，这很有用。

重要提示：使用 load_dataset() 方法的 data_dir 参数会覆盖 BratConfig 的 url 参数。

附加信息

许可信息

需要更多信息

引用信息

@inproceedings{stenetorp-etal-2012-brat, title = "brat: a Web-based Tool for {NLP}-Assisted Text Annotation", author = "Stenetorp, Pontus and Pyysalo, Sampo and Topi{c}, Goran and Ohta, Tomoko and Ananiadou, Sophia and Tsujii, Jun{}ichi", booktitle = "Proceedings of the Demonstrations at the 13th Conference of the {E}uropean Chapter of the Association for Computational Linguistics", month = apr, year = "2012", address = "Avignon, France", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/E12-2021", pages = "102--107", }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，高质量标注数据是驱动模型性能提升的关键基石。Brat数据集构建依托于同名Web文本标注工具，该工具专为结构化标注设计，支持多种NLP任务的复杂标注需求。其核心机制采用分离式存储策略，标注信息独立于原始文本文件保存，通过文件名关联机制实现文本与标注的配对。具体而言，每个文本文件（.txt）对应一个同名的标注文件（.ann），标注文件以standoff格式记录所有结构化信息。数据集处理脚本负责解析这种格式，将标注内容转换为包含上下文、文件标识符、跨度标注、关系标注、事件标注等多维度的结构化字典，从而形成可直接用于模型训练的标准数据格式。

特点

该数据集展现出独特的技术优势与结构特征。首先，源自专家人工标注的brat格式保证了标注的权威性与准确性，尤其适用于细粒度的结构化任务。其次，数据组织高度结构化，不仅包含基础的文本跨度标注，还涵盖了实体间的复杂关系、事件触发与参数、属性归因、实体规范化映射以及自由文本注释等多层次信息。这种多维标注体系使得数据集能够支持从序列标注到关系抽取、事件抽取乃至跨句推理等多种复杂NLP任务。此外，数据集通过参数化配置支持灵活的拆分策略，允许用户自定义训练、验证和测试集的划分方式，并内置文件名黑名单机制以过滤无效数据，增强了数据管理的灵活性。

使用方法

使用该数据集需借助HuggingFace Datasets库的load_dataset函数，通过传入BratConfig配置参数进行加载。核心参数为url，需指向包含.brat数据文件的压缩包或目录路径。用户可通过split_paths参数定义数据集的划分，支持按子目录或文件列表进行灵活配置，若未指定则默认将根目录及直接子文件夹视为独立拆分。同时支持通过file_name_blacklist参数排除特定文件。一个典型用法是加载SciArg学术论文论证标注语料，通过传入描述、引用信息、数据URL及拆分路径等参数，即可获得可直接用于模型训练的标准数据集对象。值得注意的是，load_dataset的data_dir参数会覆盖url参数，为本地数据加载提供了便捷途径。

背景与挑战

背景概述

在自然语言处理领域，结构化文本标注是构建高质量语料库的关键环节，其准确性直接影响下游任务的性能。DFKI-SLT/brat数据集源于2012年由Pontus Stenetorp、Sampo Pyysalo等研究人员开发的brat标注工具，该工具由德国人工智能研究中心（DFKI）和多家欧洲学术机构联合推动，旨在为复杂结构化标注任务提供高效、直观的Web平台。该工具的核心研究问题在于如何利用NLP技术辅助人工标注，提升标注效率与一致性，从而支撑命名实体识别、关系抽取、事件抽取等多样化任务。自发布以来，brat凭借其灵活的离线存储格式（.ann与.txt分离）和丰富的标注类型，成为生物医学、科学论证分析等领域的标准标注工具，对推动语料库语言学与信息抽取研究产生了深远影响。

当前挑战

brat数据集当前面临的核心挑战首先体现在领域适配的复杂性上。尽管其设计支持通用结构化标注，但面对科学论证、生物医学等专业领域时，标注体系需定制化定义，而现有工具缺乏对跨领域标注规范的自动映射机制，导致标注人员需手动调整标签类型与关系约束，增加学习成本与错误风险。其次，构建过程中暴露的挑战在于数据质量管控的困难性。由于brat采用分散式存储结构，文本与标注文件分离，当处理大规模多源数据时，文件名一致性校验、碎片化片段对齐（如跨句实体链接）以及标注冲突检测（如重叠实体或循环关系）均需额外脚本支持，而当前数据集文档未提供内置的验证工具，使得用户需自行开发预处理流程，显著提升了数据集的复用门槛。

常用场景

经典使用场景

在自然语言处理领域，Brat数据集作为结构化文本标注的典范，广泛应用于序列标注与语义解析任务。研究者利用其精细的注释格式，对命名实体识别、关系抽取和事件抽取等经典问题展开探索。该数据集以分离式存储设计，将标注信息与原始文本解耦，使得模型能够在保持文本完整性的同时，高效学习复杂语义结构。其丰富的注释类型涵盖跨度标注、关系链接、属性修饰及归一化实体，为构建端到端的自然语言理解系统提供了标准化的训练与评估基准。

实际应用

在实际应用中，Brat数据集被广泛部署于生物医学文献挖掘、法律文书解析和金融舆情监控等场景。借助其标准化注释格式，开发团队能够快速构建领域特定的信息抽取系统，例如从临床报告中提取疾病-药物关系，或从专利文本中识别技术方案与效果之间的因果链。此外，Brat的轻量级网页界面设计降低了非专业用户参与标注的门槛，使得人机协同的持续学习系统成为可能，极大提升了行业数据治理的效率。

衍生相关工作

基于Brat数据集，学术界涌现出诸多经典衍生工作。例如，SciArg语料库在Brat框架下扩展了科学论文的论证成分标注，推动了论证挖掘研究的发展；Dr. Inventor语料库则利用Brat的分离式结构实现了修辞角色与论元结构的联合建模。此外，多项研究围绕Brat格式的归一化实体链接与跨文档关系推理展开，催生了如事件时序关系标注、多模态语义对齐等创新方向，深刻影响了后续语言资源建设与评估体系的演进。