ruanchaves/boun

---
annotations_creators:
- expert-generated
language_creators:
- machine-generated
language:
- en
license:
- unknown
multilinguality:
- monolingual
size_categories:
- unknown
source_datasets:
- original
task_categories:
- structure-prediction
task_ids: []
pretty_name: BOUN
tags:
- word-segmentation
---

# Dataset Card for BOUN

## Dataset Description

- **Repository:** [ardax/hashtag-segmentor](https://github.com/ardax/hashtag-segmentor)
- **Paper:** [Segmenting Hashtags and Analyzing Their Grammatical Structure](https://asistdl.onlinelibrary.wiley.com/doi/epdf/10.1002/asi.23989?author_access_token=qbKcE1jrre5nbv_Tn9csbU4keas67K9QMdWULTWMo8NOtY2aA39ck2w5Sm4ePQ1MZhbjCdEuaRlPEw2Kd12jzvwhwoWP0fdroZAwWsmXHPXxryDk_oBCup1i9_VDNIpU)

### Dataset Summary

Dev-BOUN is a Development set that includes 500 manually segmented hashtags. These are selected from tweets about movies,
tv shows, popular people, sports teams etc.

Test-BOUN is a Test set that includes 500 manually segmented hashtags. These are selected from tweets about movies, tv shows, popular people, sports teams etc.

### Languages

English

## Dataset Structure

### Data Instances

```
{
"index": 0,
"hashtag": "tryingtosleep",
"segmentation": "trying to sleep"
}
```

### Data Fields

- `index`: a numerical index.
- `hashtag`: the original hashtag.
- `segmentation`: the gold segmentation for the hashtag.

## Dataset Creation

- All hashtag segmentation and identifier splitting datasets on this profile have the same basic fields: `hashtag` and `segmentation` or `identifier` and `segmentation`.

- The only difference between `hashtag` and `segmentation` or between `identifier` and `segmentation` are the whitespace characters. Spell checking, expanding abbreviations or correcting characters to uppercase go into other fields.

- There is always whitespace between an alphanumeric character and a sequence of any special characters ( such as `_` , `:`, `~` ).

- If there are any annotations for named entity recognition and other token classification tasks, they are given in a `spans` field.

## Additional Information

### Citation Information

```
@article{celebi2018segmenting,
title={Segmenting hashtags and analyzing their grammatical structure},
author={Celebi, Arda and {\"O}zg{\"u}r, Arzucan},
journal={Journal of the Association for Information Science and Technology},
volume={69},
number={5},
pages={675--686},
year={2018},
publisher={Wiley Online Library}
}
```

### Contributions

This dataset was added by [@ruanchaves](https://github.com/ruanchaves) while developing the [hashformers](https://github.com/ruanchaves/hashformers) library.

annotations_creators:
- 专家生成
language_creators:
- 机器生成
language:
- 英语
license:
- 未知
multilinguality:
- 单语言
size_categories:
- 未知
source_datasets:
- 原始数据集
task_categories:
- 结构预测
task_ids: []
pretty_name: BOUN
tags:
- 分词（word-segmentation）

# BOUN 数据集卡片

## 数据集说明

- **代码仓库：** [ardax/hashtag-segmentor](https://github.com/ardax/hashtag-segmentor)
- **相关论文：** [话题标签分词及其语法结构分析](https://asistdl.onlinelibrary.wiley.com/doi/epdf/10.1002/asi.23989?author_access_token=qbKcE1jrre5nbv_Tn9csbU4keas67K9QMdWULTWMo8NOtY2aA39ck2w5Sm4ePQ1MZhbjCdEuaRlPEw2Kd12jzvwhwoWP0fdroZAwWsmXHPXxryDk_oBCup1i9_VDNIpU)

### 数据集摘要

开发集（Dev-BOUN）包含500条经人工分词的话题标签（hashtag），这些标签选自与电影、电视剧、知名人物、运动队等主题相关的推文。

测试集（Test-BOUN）包含500条经人工分词的话题标签，这些标签同样选自与电影、电视剧、知名人物、运动队等主题相关的推文。

### 语言

英语

## 数据集结构

### 数据样例

{
"index": 0,
"hashtag": "tryingtosleep",
"segmentation": "trying to sleep"
}

### 数据字段

- `index`：数字类型的索引标识
- `hashtag`：原始话题标签文本
- `segmentation`：该话题标签的标准分词结果

## 数据集构建说明

- 本数据集主页下所有话题标签分词与标识符拆分数据集均采用统一的基础字段：`hashtag`与`segmentation`，或`identifier`与`segmentation`。
- `hashtag`与`segmentation`（或`identifier`与`segmentation`）之间的唯一区别仅为空白字符。拼写检查、缩写展开或字符大写修正等处理将归入其他字段。
- 字母数字字符与各类特殊字符（如`_`、`:`、`~`）序列之间必须保留空白字符。
- 若存在命名实体识别或其他Token分类任务的标注信息，将存储于`spans`字段中。

## 附加信息

### 引用信息

@article{celebi2018segmenting,
title={Segmenting hashtags and analyzing their grammatical structure},
author={Celebi, Arda and {"O}zg{"u}r, Arzucan},
journal={Journal of the Association for Information Science and Technology},
volume={69},
number={5},
pages={675--686},
year={2018},
publisher={Wiley Online Library}
}

### 贡献说明

本数据集由[@ruanchaves](https://github.com/ruanchaves)在开发[hashformers](https://github.com/ruanchaves/hashformers)库时提交上传。

原始信息汇总

数据集卡片 for BOUN

数据集描述

数据集摘要

• Dev-BOUN: 包含500个手动分割的标签，选自关于电影、电视节目、流行人物、体育团队等的推文。
• Test-BOUN: 包含500个手动分割的标签，选自关于电影、电视节目、流行人物、体育团队等的推文。

语言

英语

数据集结构

数据实例

json { "index": 0, "hashtag": "tryingtosleep", "segmentation": "trying to sleep" }

数据字段

• index: 数值索引。
• hashtag: 原始标签。
• segmentation: 标签的金标准分割。

数据集创建

• 所有标签分割和标识符分割数据集在此配置文件中具有相同的基本字段：hashtag 和 segmentation 或 identifier 和 segmentation。
• hashtag 和 segmentation 或 identifier 和 segmentation 之间的唯一区别是空白字符。拼写检查、缩写扩展或字符更正到大写进入其他字段。
• 在字母数字字符和任何特殊字符序列（如 _、:、~）之间总是有空白。
• 如果有任何命名实体识别和其他标记分类任务的注释，它们在 spans 字段中给出。

附加信息

引用信息

plaintext @article{celebi2018segmenting, title={Segmenting hashtags and analyzing their grammatical structure}, author={Celebi, Arda and Özgür, Arzucan}, journal={Journal of the Association for Information Science and Technology}, volume={69}, number={5}, pages={675--686}, year={2018}, publisher={Wiley Online Library} }

搜集汇总

数据集介绍

构建方式

BOUN数据集由专家手工标注构建，旨在服务于社交网络文本中的主题标签（hashtag）分割任务。其开发集（Dev-BOUN）与测试集（Test-BOUN）各包含500条从推文中精选的主题标签，内容涵盖电影、电视剧、知名人物及体育团队等多元领域。每个样本以JSON格式存储，包含数值索引、原始标签字符串及人工标注的标准分词结果，确保标签与分割之间仅通过空格符区分，而不涉及拼写修正或大小写转换。

特点

该数据集聚焦于英语单语主题标签的分割，具有高度专业化与结构一致性的特点。所有样本均源自真实推文语境，覆盖娱乐、体育等热门话题，增强了模型对非正式、无空格文本的适应能力。数据字段设计简洁统一，核心字段仅含索引、原始标签与黄金分割，且严格遵循字母数字字符与特殊符号间插入空格的规则，为序列标注任务提供了清晰、可复用的基准。

使用方法

BOUN数据集适用于基于序列标注或序列到序列模型的主题标签分割任务。用户可直接加载JSON格式的实例，将原始标签作为输入，分割结果作为目标输出进行监督学习。数据集已集成至HuggingFace Datasets库，可通过`load_dataset('ruanchaves/boun')`便捷调用，并支持与hashformers等分词工具协同使用，便于开展模型训练、评估与对比实验。

背景与挑战

背景概述

在社交媒体文本分析领域，标签（hashtag）作为一种重要的语义单元，承载着用户对内容主题的提炼与情感表达。然而，标签通常由多个单词连续拼接而成，缺乏显式的词边界，这为自然语言处理中的分词与理解带来了独特挑战。在此背景下，BOUN数据集由Arda Celebi与Arzucan Özgür于2018年创建，隶属于土耳其博阿齐奇大学（Boğaziçi University）的研究成果，旨在推动标签分割任务的发展。该数据集包含Dev-BOUN（开发集）与Test-BOUN（测试集），各含500条人工标注的标签实例，来源涵盖电影、电视节目、名人及体育赛事相关的推文。BOUN数据集的提出，不仅为标签的语法结构分析提供了标准化基准，还促进了信息检索与社交媒体挖掘领域的研究进展，成为评估标签分割算法性能的重要参考。

当前挑战

BOUN数据集所面临的挑战主要体现在两个层面。首先，在领域问题层面，标签分割任务的核心难点在于处理无空格拼接的连续字符串，需准确识别单词边界并恢复原始语义，这要求模型具备对缩写、专有名词、复合词及网络用语的高度鲁棒性。其次，在构建过程中，数据集虽由专家手工标注，但标签来源的多样性（如电影、体育等主题）导致词汇分布不均，部分领域术语的分割标准可能存在主观歧义。此外，数据规模有限（仅1000个实例），难以覆盖现实场景中标签的复杂变体，如多语言混合、表情符号嵌入或创造性拼写错误，这限制了模型在开放域环境下的泛化能力。

常用场景

经典使用场景

BOUN数据集的核心应用场景在于社交媒体的文本预处理与自然语言理解，尤其聚焦于推文中标签（hashtag）的自动分词任务。该数据集为研究者提供了经过人工精标的训练与测试样本，其中每个标签均被精准分割为符合语法规范的单词序列，例如将“tryingtosleep”还原为“trying to sleep”。这一经典使用场景为开发高效、鲁棒的标签分割算法奠定了坚实基础，使得模型能够从无分隔符的紧凑字符串中准确识别词汇边界，从而提升下游任务如情感分析、话题检测和信息检索的效能。

衍生相关工作

BOUN数据集催生了一系列具有影响力的后续研究工作。其中，基于该数据集的hashformers库将预训练语言模型（如BERT）引入标签分割任务，验证了Transformer架构在此场景下的优越性。此外，研究者还借鉴其标注范式构建了多语言版本的标签分割数据集，并探索了将分割与词性标注联合学习的多任务框架。这些衍生工作不仅丰富了自然语言处理中非规范文本处理的理论体系，也为社交媒体挖掘技术提供了可复现的评估基准。

数据集最近研究

最新研究方向

在自然语言处理领域，社交媒体文本的语义解析一直是前沿研究热点，而标签分割（Hashtag Segmentation）作为其中关键任务，正随着信息检索与社交计算的发展而备受关注。BOUN数据集聚焦于英文推文中标签的词汇边界识别，收录了涵盖电影、电视节目、体育赛事等热门主题的1000条人工标注样本，为无空格文本的分词任务提供了高质量的基准测试集合。当前研究趋势已从传统的基于规则或统计的方法转向基于Transformer的序列标注模型，如Hashformers库所展示的微调BERT策略，该数据集在此类深度学习方法中扮演着验证模型泛化能力的核心角色。其与社交网络事件分析、品牌舆情监测等实际应用的紧密关联，推动了多任务学习框架（如同时进行标签分割与命名实体识别）的兴起，进一步彰显了该数据集在弥合非结构化社交媒体文本与结构化知识抽取之间的桥梁作用。