five

thunlp/few_rel

收藏
Hugging Face2024-01-18 更新2024-05-25 收录
下载链接:
https://hf-mirror.com/datasets/thunlp/few_rel
下载链接
链接失效反馈
官方服务:
资源简介:
FewRel是一个大规模的小样本关系抽取数据集,包含超过一百种关系和数万个跨不同领域的标注实例。数据集主要包含英文文本,来源于维基百科和众包英文注释。数据集的结构包括多个数据字段,如关系、文本标记、头实体、尾实体等,并且有多个数据分割,如train_wiki、val_nyt等。数据集的创建者包括Han, Xu等人,并且数据集遵循MIT许可证。

FewRel是一个大规模的小样本关系抽取数据集,包含超过一百种关系和数万个跨不同领域的标注实例。数据集主要包含英文文本,来源于维基百科和众包英文注释。数据集的结构包括多个数据字段,如关系、文本标记、头实体、尾实体等,并且有多个数据分割,如train_wiki、val_nyt等。数据集的创建者包括Han, Xu等人,并且数据集遵循MIT许可证。
提供机构:
thunlp
原始信息汇总

数据集概述

名称: Few-Shot Relation Classification Dataset (FewRel)

语言: 英语 (en)

许可证: MIT

多语言性: 单语 (monolingual)

大小:

  • 小于1K (<1K)
  • 10K至100K (10K<n<100K)

源数据: 原始 (original)

任务类别: 其他 (other)

配置名称:

  • default
  • pid2name

数据集结构

特征:

  • relation: 字符串类型,表示关系的PID。
  • tokens: 字符串序列,表示文本的词条。
  • head: 结构体,包含:
    • text: 字符串,表示头部实体。
    • type: 字符串,表示头部实体类型。
    • indices: 整数序列序列,表示词条索引。
  • tail: 结构体,包含:
    • text: 字符串,表示尾部实体。
    • type: 字符串,表示尾部实体类型。
    • indices: 整数序列序列,表示词条索引。
  • names: 字符串序列,表示关系名称。

数据分割:

  • train_wiki: 44800个样本
  • val_nyt: 2500个样本
  • val_pubmed: 1000个样本
  • val_semeval: 8851个样本
  • val_wiki: 11200个样本
  • pubmed_unsupervised: 2500个样本

下载大小: 22674323字节

数据集大小: 30708599字节 (default配置) / 81607字节 (pid2name配置)

数据集创建

注释创建者:

  • 众包 (crowdsourced)
  • 机器生成 (machine-generated)

语言创建者: 发现 (found)

许可证信息:

MIT License

Copyright (c) 2018 THUNLP

Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

引用信息:

@inproceedings{han-etal-2018-fewrel, title = "{F}ew{R}el: A Large-Scale Supervised Few-Shot Relation Classification Dataset with State-of-the-Art Evaluation", author = "Han, Xu and Zhu, Hao and Yu, Pengfei and Wang, Ziyun and Yao, Yuan and Liu, Zhiyuan and Sun, Maosong", booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing", month = oct # "-" # nov, year = "2018", address = "Brussels, Belgium", publisher = "Association for Computational Linguistics", url = "https://www.aclweb.org/anthology/D18-1514", doi = "10.18653/v1/D18-1514", pages = "4803--4809" }

@inproceedings{gao-etal-2019-fewrel, title = "{F}ew{R}el 2.0: Towards More Challenging Few-Shot Relation Classification", author = "Gao, Tianyu and Han, Xu and Zhu, Hao and Liu, Zhiyuan and Li, Peng and Sun, Maosong and Zhou, Jie", booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)", month = nov, year = "2019", address = "Hong Kong, China", publisher = "Association for Computational Linguistics", url = "https://www.aclweb.org/anthology/D19-1649", doi = "10.18653/v1/D19-1649", pages = "6251--6256" }

搜集汇总
数据集介绍
main_image_url
构建方式
在自然语言处理领域,关系抽取是知识图谱构建的核心任务之一,而少样本学习场景下的关系抽取尤为具有挑战性。FewRel数据集正是为应对这一挑战而精心构建的。其构建过程首先从维基百科等大规模语料中收集文本,并利用众包与机器自动标注相结合的方式,对实体及其之间的关系进行精确标注。数据集中每条样本均包含头实体、尾实体及其对应的文本片段和类型信息,并由关系标识符(PID)和关系名称共同定义。此外,为评估模型的跨领域泛化能力,数据集还引入了来自NYT、PubMed和SemEval等不同来源的验证集,形成了覆盖多领域的结构化数据体系。
使用方法
使用FewRel数据集时,研究者可通过HuggingFace的datasets库直接加载,其配置名分为'default'和'pid2name'两种。'default'配置包含完整的训练与验证划分,如train_wiki、val_nyt等,每个样本均提供tokens、head、tail及relation字段,方便构建序列标注或分类模型。'pid2name'配置则提供了关系标识符到关系名称的映射,便于结果解读。在少样本场景下,可基于训练集构建N-way K-shot任务,利用验证集评估模型在未见关系上的泛化性能。数据集采用MIT开源协议,支持学术与商业用途,且提供了官方GitHub仓库和论文作为参考,便于复现与拓展研究。
背景与挑战
背景概述
在自然语言处理领域,关系抽取是一项核心任务,旨在从非结构化文本中识别实体间的语义关系。然而,传统监督方法严重依赖大规模标注数据,难以应对现实世界中长尾分布与新兴关系的涌现。为突破这一瓶颈,清华大学自然语言处理与社会人文计算实验室(THUNLP)于2018年由韩旭、朱昊、刘知远等研究人员提出了FewRel数据集,该数据集开创性地聚焦于少样本关系分类场景。FewRel包含来自维基百科的逾百种关系和数万条人工标注实例,覆盖跨领域知识,为少样本学习在关系抽取中的评估提供了标准化基准。随后,2019年发布的FewRel 2.0版本进一步引入领域迁移与无监督场景,推动了该方向研究的深化。该数据集已成为少样本关系分类领域最具影响力的标杆资源之一,相关论文发表在EMNLP等顶级会议上,并配套开放排行榜与代码库,极大促进了学术交流与模型迭代。
当前挑战
FewRel所应对的核心挑战在于少样本关系分类中模型泛化能力的不足,即如何从极少量的支持样本中准确推断新关系类型,这要求模型具备高效的知识迁移与模式识别能力。数据构建过程中面临多重难点:首先,需从维基百科等大规模语料中筛选出语义明确、分布均衡的实体对与关系类型,确保覆盖多样化的知识领域;其次,标注环节采用众包与自动生成结合的方式,需设计精细的标注指南以保证关系标签的一致性,并处理实体边界模糊、指代歧义等语言现象;此外,验证集跨域设计(如NYT、PubMed、SemEval)引入了领域偏移挑战,以测试模型在医学、新闻等不同领域上的鲁棒性。这些挑战共同构成了FewRel数据集在推动少样本关系抽取技术进步中的关键作用。
常用场景
经典使用场景
FewRel数据集作为少样本关系抽取领域的标杆性资源,其经典使用场景聚焦于评估和推动模型在极少量标注样本下对实体间语义关系的泛化能力。研究者通常利用该数据集中的训练集与验证集,设计基于度量学习、元学习或预训练语言模型的算法,以应对真实世界中关系类别繁多、标注成本高昂的挑战。例如,在N-way K-shot设定下,模型需从每个关系类别仅有的K个支持实例中学习判别特征,并在查询集上完成分类,这一范式已成为检验少样本关系抽取方法有效性的标准基准。
解决学术问题
该数据集的核心贡献在于破解了传统关系抽取依赖大规模人工标注的学术瓶颈。通过构建涵盖百余种关系、跨领域(如维基百科、PubMed、SemEval)的实例库,FewRel为少样本学习提供了大规模、高质量的训练与评估平台,使研究者能够系统性地探索样本稀缺条件下的关系识别机制。其引入的跨领域验证集(如NYT、PubMed)进一步揭示了模型在领域迁移中的鲁棒性缺陷,推动了泛化性理论、噪声鲁棒性以及无监督预训练等研究方向的发展。
实际应用
在实际应用中,FewRel所启发的技术被广泛部署于知识图谱自动构建、生物医学文献挖掘及金融风控等场景。例如,在医疗领域,模型可基于少量病历样本快速识别药物与疾病的潜在关联;在电商平台中,系统能通过用户反馈的稀疏关系描述,自动抽取商品属性间的语义联系。此外,该数据集验证的跨领域迁移能力,使得企业无需针对每个垂直领域重新标注海量数据,显著降低了关系抽取系统的部署成本与迭代周期。
数据集最近研究
最新研究方向
在少样本关系抽取领域,FewRel数据集作为里程碑式的基准资源,持续推动着前沿研究向更复杂、更贴近真实场景的方向演进。当前,研究者们正聚焦于利用该数据集探索跨域泛化能力,例如通过元学习与提示学习相结合的方法,在医学文献(如PubMed子集)与新闻文本(如NYT子集)等异质领域间实现知识迁移。与此同时,结合大规模预训练语言模型(如GPT系列、BERT变体)的微调策略成为热点,旨在缓解标注数据稀缺带来的过拟合问题。FewRel 2.0版本引入的领域偏移与零样本任务挑战,进一步催生了基于对比学习与原型网络的鲁棒性研究,这些工作不仅提升了模型对长尾关系的识别精度,也为构建开放世界下的动态关系抽取系统奠定了关键基础,对知识图谱自动构建与智能问答等下游应用具有深远意义。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务