taidng/WikiSER

---
license: apache-2.0
---
# Software Entity Recognition

## Description
Data collected from our paper ["Software Entity Recognition with Noise-robust Learning"](https://arxiv.org/abs/2308.10564), ASE 2023.

WikiSER corpus includes 1.7M sentences with named entity labels extracted from 79k Wikipedia articles.
Relevant software named entities are labeled under 12 fine-grained categories:

| Type | Examples |
|------------------|-------------------------------------------------------|
| Algorithm | Auction algorithm, Collaborative filtering |
| Application | Adobe Acrobat, Microsoft Excel |
| Architecture | Graphics processing unit, Wishbone |
| Data_Structure | Array, Hash table, mXOR linked list |
| Device | Samsung Gear S2, iPad, Intel T5300 |
| Error Name | Buffer overflow, Memory leak |
| General_Concept | Memory management, Nouvelle AI |
| Language | C++, Java, Python, Rust |
| Library | Beautiful Soup, FastAPI |
| License | Cryptix General License, MIT License |
| Operating_System | Linux, Ubuntu, Red Hat OS, MorphOS |
| Protocol | TLS, FTPS, HTTP 404 |

WikiSER is organized by the Wiki articles in which the data was scraped from.

|-- Adobe_Flash.txt
|-- Linux.txt
|-- Java_(programming_language).txt
|-- ...

Each sentences are split by `<s>...</s>` and tokenized with [stokenizer](https://github.com/jeniyat/StackOverflowNER/blob/master/code/SOTokenizer/stokenizer.py).

## Structure
In the [folder](https://huggingface.co/datasets/taidng/WikiSER/tree/main/):

`wikiser`: Full zipped data

`wikiser-small`: Subset of the data used for training [`wikiser-bert-base`](https://huggingface.co/taidng/wikiser-bert-base) and [`wikiser-bert-large`](https://huggingface.co/taidng/wikiser-bert-large)

`wikiser-sample`: A few examples

## Citation
```bibtex
@inproceedings{nguyen2023software,
title={Software Entity Recognition with Noise-Robust Learning},
author={Nguyen, Tai and Di, Yifeng and Lee, Joohan and Chen, Muhao and Zhang, Tianyi},
booktitle={Proceedings of the 38th IEEE/ACM International Conference on Automated Software Engineering (ASE'23)},
year={2023},
organization={IEEE/ACM}
}
```

许可证：Apache-2.0

# 软件实体识别（Software Entity Recognition）

## 描述
本数据集源自我们发表于ASE 2023的论文《面向噪声鲁棒学习的软件实体识别》（*Software Entity Recognition with Noise-robust Learning*，https://arxiv.org/abs/2308.10564）。

WikiSER语料库包含从7.9万篇维基百科文章中提取的170万条带命名实体标签的句子。相关软件命名实体被划分为12个细粒度类别：

| 类别名称 | 示例内容 |
|------------------|-------------------------------------------------------|
| 算法（Algorithm） | 拍卖算法、协同过滤 |
| 应用程序（Application） | Adobe Acrobat、Microsoft Excel |
| 架构（Architecture） | 图形处理器、Wishbone |
| 数据结构（Data_Structure） | 数组、哈希表、mXOR链表 |
| 设备（Device） | 三星Gear S2、iPad、Intel T5300 |
| 错误名称（Error Name） | 缓冲区溢出、内存泄漏 |
| 通用概念（General_Concept） | 内存管理、Nouvelle AI |
| 编程语言（Language） | C++、Java、Python、Rust |
| 程序库（Library） | Beautiful Soup、FastAPI |
| 许可证（License） | Cryptix通用许可证、MIT许可证 |
| 操作系统（Operating_System） | Linux、Ubuntu、Red Hat操作系统、MorphOS |
| 协议（Protocol） | TLS、FTPS、HTTP 404 |

WikiSER按照数据爬取来源的维基百科文章进行组织，文件结构如下：

|-- Adobe_Flash.txt
|-- Linux.txt
|-- Java_(programming_language).txt
|-- ...

每条句子以`<s>...</s>`作为分隔标记，并使用[stokenizer](https://github.com/jeniyat/StackOverflowNER/blob/master/code/SOTokenizer/stokenizer.py)完成分词。

## 数据集结构
在该[数据集文件夹](https://huggingface.co/datasets/taidng/WikiSER/tree/main/)中包含以下内容：
- `wikiser`：完整压缩数据集
- `wikiser-small`：用于训练 [`wikiser-bert-base`](https://huggingface.co/taidng/wikiser-bert-base) 和 [`wikiser-bert-large`](https://huggingface.co/taidng/wikiser-bert-large) 的数据集子集
- `wikiser-sample`：少量示例样本

## 引用
bibtex
@inproceedings{nguyen2023software,
title={Software Entity Recognition with Noise-Robust Learning},
author={Nguyen, Tai and Di, Yifeng and Lee, Joohan and Chen, Muhao and Zhang, Tianyi},
booktitle={Proceedings of the 38th IEEE/ACM International Conference on Automated Software Engineering (ASE'23)},
year={2023},
organization={IEEE/ACM}
}

原始信息汇总

数据集概述

来源

• 数据集来源于论文《Software Entity Recognition with Noise-robust Learning》，该论文将在ASE 2023会议上发表。

搜集汇总

数据集介绍

构建方式

WikiSER数据集源自发表于ASE 2023的学术论文，旨在推动软件实体识别领域的噪声鲁棒学习研究。该数据集从维基百科中抽取了约7.9万篇与软件相关的文章，经过精细的文本分割与分词处理，最终构建出包含170万条带有命名实体标签的句子。每条句子均以特定的标记符进行分隔，并利用专用分词器完成标记化，确保了数据在后续处理中的一致性。数据按照原始维基文章进行组织，每个文件对应一篇文章，便于追溯实体来源。

特点

WikiSER数据集的核心特点在于其覆盖了12个细粒度的软件实体类别，包括算法、应用、架构、数据结构、设备、错误名称、通用概念、编程语言、库、许可证、操作系统和协议。这些类别通过丰富的实例展现，如C++、Linux、MIT许可证等，充分体现了软件领域的多样性与专业性。数据集规模庞大，标签分布均衡，为训练高精度的实体识别模型提供了坚实基础。此外，其噪声鲁棒性设计尤其适用于处理真实世界中标注不完美的情况。

使用方法

使用WikiSER数据集时，用户可直接从HuggingFace平台获取完整数据包或精简子集。完整数据集适用于从零开始的模型训练，而子集则适合快速实验或微调预训练模型如wikiser-bert-base。数据以文本文件形式提供，每篇文章独立成文件，句子间由特定标记分隔。研究者可将其加载到标准命名实体识别框架中，通过调整分词策略与标签映射，轻松适配各类深度学习模型。引用时应注明原始论文，以尊重学术贡献。

背景与挑战

背景概述

在软件工程与自然语言处理的交叉领域中，从非结构化文本中准确识别软件相关实体（如算法、框架、许可证等）是提升代码检索、文档理解及知识图谱构建效率的关键任务。WikiSER数据集由Tai Nguyen等研究人员于2023年在ASE会议上提出，源自其论文《Software Entity Recognition with Noise-robust Learning》。该数据集由南加州大学等机构联合构建，核心研究问题在于如何从海量维基百科文章中自动化提取细粒度的软件命名实体。WikiSER包含来自79,000篇维基百科文章的170万条标注句子，覆盖12个细粒度类别，如算法、应用、架构等，为软件实体识别领域提供了大规模、高质量的标准基准，显著推动了噪声环境下实体识别技术的发展。

当前挑战

WikiSER数据集面临的挑战首先体现在领域问题的复杂性上：软件实体名称具有高度多样性和歧义性，例如同一术语可能同时指代算法、库或通用概念，而维基百科文本中普遍存在的噪声（如非标准命名格式、缩写、跨语言表达）进一步加剧了识别难度。在构建过程中，挑战尤为突出：从79,000篇维基百科文章中自动化抽取并标注实体时，需设计噪声鲁棒的学习策略以应对人工标注的稀疏性和不一致性；同时，12个细分类别的边界模糊（如“错误名称”与“通用概念”的区分）要求标注准则高度精确，而大规模数据清洗与token化处理（如使用stokenizer）也需平衡效率与保真度，确保实体边界不被破坏。

常用场景

经典使用场景

WikiSER数据集在软件实体识别领域扮演着基石性的角色，其核心应用场景在于从大规模非结构化文本中精准抽取细粒度的软件相关命名实体。该数据集囊括了从79,000篇维基百科文章中提取的170万条标注句子，覆盖算法、应用、架构、数据结构、设备、错误名称、通用概念、编程语言、库、许可证、操作系统及协议等12个细粒度类别，为构建高鲁棒性的软件实体识别模型提供了丰富而规范的训练与评估资源。

解决学术问题

该数据集有效解决了软件实体识别中标注数据稀缺与噪声标注干扰两大核心学术难题。通过提供大规模、高质量且细粒度的人工标注语料，WikiSER为噪声鲁棒学习方法的验证与优化奠定了坚实基础。其发布推动了软件知识图谱构建、技术文档语义理解等研究方向的发展，显著提升了自动化软件工程中实体抽取的准确性与泛化能力，对软件工程与自然语言处理的交叉领域产生了深远影响。

衍生相关工作

WikiSER衍生了一系列具有影响力的经典工作，其中最具代表性的是基于该数据集训练的wikiser-bert-base与wikiser-bert-large模型，这些模型在软件实体识别任务上取得了当时最优的性能。此外，该数据集被广泛应用于噪声鲁棒学习方法的评估基准中，催生了多种针对软件领域文本特性的实体识别增强技术。其对应的论文《Software Entity Recognition with Noise-robust Learning》发表在ASE 2023会议上，为后续研究提供了坚实的基线与数据支撑。