bigbio/twadrl

--- language: - en bigbio_language: - English license: cc-by-4.0 multilinguality: monolingual bigbio_license_shortname: CC_BY_4p0 pretty_name: TwADR-L homepage: https://zenodo.org/record/55013 bigbio_pubmed: False bigbio_public: True bigbio_tasks: - NAMED_ENTITY_RECOGNITION - NAMED_ENTITY_DISAMBIGUATION --- # Dataset Card for TwADR-L ## Dataset Description - **Homepage:** https://zenodo.org/record/55013 - **Pubmed:** False - **Public:** True - **Tasks:** NER,NED The TwADR-L dataset contains medical concepts written on social media (Twitter) mapped to how they are formally written in medical ontologies (SIDER 4). ## Citation Information ``` @inproceedings{limsopatham-collier-2016-normalising, title = "Normalising Medical Concepts in Social Media Texts by Learning Semantic Representation", author = "Limsopatham, Nut and Collier, Nigel", booktitle = "Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)", month = aug, year = "2016", address = "Berlin, Germany", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/P16-1096", doi = "10.18653/v1/P16-1096", pages = "1014--1023", } ```语言： - 英语 BigBIO数据集语言： - 英语 授权协议：CC BY 4.0 多语言属性：单语种 BigBIO授权简称：CC_BY_4p0 规范名称：TwADR-L 项目主页：https://zenodo.org/record/55013 BigBIO PubMed关联：否 BigBIO公开状态：是 BigBIO支持任务： - 命名实体识别（NAMED_ENTITY_RECOGNITION） - 命名实体消歧（NAMED_ENTITY_DISAMBIGUATION） # TwADR-L 数据集卡片 ## 数据集说明 - **主页**：https://zenodo.org/record/55013 - **PubMed关联**：否 - **公开状态**：是 - **任务**：命名实体识别、命名实体消歧 TwADR-L 数据集收录了社交媒体（Twitter）上出现的医学概念，并将其映射至医学本体（SIDER 4）中的标准规范表述形式。 ## 引用信息 bibtex @inproceedings{limsopatham-collier-2016-normalising, title = "基于语义表征学习的社交媒体文本医学概念规范化", author = "Limsopatham, Nut and Collier, Nigel", booktitle = "第54届国际计算语言学协会年会论文集（第1卷：长论文）", month = "8月", year = "2016", address = "德国柏林", publisher = "国际计算语言学协会", url = "https://aclanthology.org/P16-1096", doi = "10.18653/v1/P16-1096", pages = "1014--1023", }

原始信息汇总

TwADR-L 数据集概述

基本信息

• 语言: 英语
• 许可证: CC-BY-4.0
• 多语言性: 单语种
• 数据集名称: TwADR-L
• 主页: https://zenodo.org/record/55013
• 是否公开: 是
• 是否包含PubMed数据: 否

数据集描述

TwADR-L 数据集包含社交媒体（Twitter）上的医学概念，并映射到医学本体（SIDER 4）中的正式表达。

任务类型

• 命名实体识别 (NER)
• 命名实体消歧 (NED)

搜集汇总

数据集介绍

构建方式

TwADR-L数据集的构建源于对社交媒体中非正式医疗表述与正式医学术语之间鸿沟的弥合。研究者从Twitter平台采集用户生成的健康相关文本，并选取SIDER 4数据库作为标准医学本体参照。通过人工标注与语义映射策略，将每条社交媒体文本中出现的疾病、症状等医疗概念，精准对齐至SIDER 4中对应的标准化术语，从而形成一组平行语料。该过程不仅保留了原始社交文本的口语化特征，还建立了非正式表达与本体概念间的对应关系，为后续的自然语言处理任务奠定了数据基础。

特点

该数据集的核心特色在于其独特的双重视角：一方面聚焦于社交媒体（Twitter）上用户自发生成的、充满非规范拼写与缩写形式的医疗表述；另一方面则严格锚定于SIDER 4这一权威药物副作用本体。这种设计使得TwADR-L兼具真实世界的语料多样性与医学领域的知识严谨性。此外，数据集同时支持命名实体识别（NER）与命名实体消歧（NED）两项任务，能够评估模型从嘈杂文本中定位医疗概念并正确映射至标准术语的综合能力。其单语（英语）属性与CC-BY-4.0许可协议，也降低了学术研究与商业应用的门槛。

使用方法

使用TwADR-L数据集时，可直接通过HuggingFace Datasets库加载bigbio/twadrl配置。对于命名实体识别任务，可利用其中标注的实体边界信息训练序列标注模型；对于命名实体消歧任务，则可利用文本片段与SIDER 4标准概念间的映射关系，训练语义匹配或链接模型。推荐将数据划分为训练、验证与测试集，并基于任务需求选择相应的评估指标，如NER的F1分数或NED的准确率。由于数据源自社交媒体，建议在预处理时保留原始文本的拼写与语法特征，以最大化模型的泛化能力。

背景与挑战

背景概述

在生物医学自然语言处理领域，非结构化社交媒体文本中蕴含的医学概念为药物警戒、疾病监测等研究提供了宝贵的数据源。然而，社交媒体语言的非正式性、拼写变体及上下文歧义，使得自动识别并标准化这些概念成为一项严峻挑战。TwADR-L数据集由Nut Limsopatham与Nigel Collier于2016年在ACL会议上提出，旨在弥合社交媒体表达与正式医学本体之间的鸿沟。该数据集从Twitter平台采集了用户生成的医疗相关表述，并将其映射至SIDER 4药理学本体中的规范概念，从而为命名实体识别与实体消歧任务提供了高质量的标注资源。其发布推动了社交医疗信息挖掘技术的发展，成为连接非正式语言与标准化医学知识的重要桥梁。

当前挑战

TwADR-L所解决的领域挑战核心在于如何从噪声充斥的社交媒体文本中准确识别医疗概念，并将其与结构化本体对齐。具体挑战包括：社交媒体文本中大量存在的拼写错误、缩写、俚语及上下文缺失，导致传统基于词典的方法召回率极低；同一非正式表述可能映射到多个本体概念，产生语义消歧难题。在数据集构建过程中，标注者面临主观判断差异，例如界定一个表述是否属于医疗概念及其对应的本体条目，需设计严格的标注指南以降低不一致性。此外，Twitter文本的短篇幅特性限制了上下文信息量，进一步加剧了实体边界识别与标准化映射的难度，这些挑战共同构成了该领域研究的核心瓶颈。

常用场景

经典使用场景

TwADR-L数据集的核心应用场景在于将社交媒体（如Twitter）上非结构化的医疗表述映射至标准化医学本体（如SIDER 4），从而实现对用户生成内容中药物不良反应术语的精准识别与归一化。该数据集专为命名实体识别（NER）与命名实体消歧（NED）任务设计，是连接非正式网络语言与严谨医学知识体系的桥梁。研究者常利用其训练模型，从海量社交文本中自动抽取疾病、药物及不良反应等实体，并消除同义词或缩写造成的歧义，为医疗信息挖掘提供高质量标注基准。

衍生相关工作

基于TwADR-L数据集，Limsopatham与Collier在ACL 2016上提出了语义表示学习框架，首次系统性地将社交文本中的非规范医疗概念映射至本体。该工作启发了后续一系列研究，如利用注意力机制增强实体边界识别、引入外部知识图谱进行跨模态消歧，以及构建多任务学习模型同时处理NER与NED。此外，TwADR-L的标注范式被广泛借鉴于其他低资源领域（如兽医学、心理健康）的社交媒体本体对齐任务，推动了领域自适应命名实体归一化技术的发展。

数据集最近研究

最新研究方向

在生物医学自然语言处理领域，社交媒体文本中的非正式医学术语与标准化本体知识的对齐是一项前沿挑战。TwADR-L数据集聚焦于从Twitter等社交平台提取的医学概念，并将其映射至SIDER 4药物副作用本体，为医学术语归一化研究提供了关键资源。当前研究热点集中于利用深度语义表示学习模型，如基于Transformer的架构，来捕捉社交媒体中口语化、拼写变体及缩写形式的医学表达，从而提升命名实体识别与消歧的鲁棒性。该数据集的发布推动了药物不良反应监测、公共卫生舆情分析等应用的发展，尤其在后疫情时代，实时挖掘社交媒体中的健康信息对早期预警和流行病学监测具有深远意义。通过弥合非正式表达与标准术语之间的鸿沟，TwADR-L为构建更智能的医学知识图谱和临床决策支持系统奠定了坚实基础。