Customized Stopword List

Name: Customized Stopword List
Creator: Liu, Yunyi
Published: 2021-08-08 00:00:00
License: 暂无描述

Figshare2021-08-08 更新2026-04-08 收录

下载链接：

https://figshare.com/articles/dataset/Customized_Stopword_List/15131943/1

下载链接

链接失效反馈

官方服务：

资源简介：

Customized Stopword List

提供机构：

创建时间：

2021-08-08

这是一个日语停用词列表，根据日语文本分析库nagisa的分词规则创建。该列表通过从CC-100数据集和Wikipedia中提取最常用的100个词构建。用户可以通过提供的代码示例使用Huggingface datasets库访问这些停用词。

Hugging Face2023-08-06 更新1180

经过清洗和去重过的H小说，共205,028篇文章，解压后17.0 GB，仅用于科学研究。

Hugging Face2023-10-06 更新1080

本数据集包含976个中文停用词，可用于中文语料预处理。

爱数科900

该数据集是基于英文维基百科进行清理和去重处理的，并且针对多个基准测试（如GLUE、SIQA、PIQA等）进行了去污染处理。在此过程中移除了361个文档。数据集包含4,443,727个样本，下载的parquet文件大小为9.4GB。

Hugging Face2024-12-30 更新1110

Naija-Lexicons是Naija-Senti项目的一部分，包含了尼日利亚四种最广泛使用的语言（豪萨语、伊博语、尼日利亚皮钦语和约鲁巴语）的停用词列表。数据集的结构为每个语言的词汇实例及其情感标签。

Hugging Face2023-06-18 更新970