AiresPucrs/stopwords-en

--- dataset_info: features: - name: stopwords dtype: string splits: - name: train num_bytes: 1894 num_examples: 220 download_size: 2286 dataset_size: 1894 configs: - config_name: default data_files: - split: train path: data/train-* language: - en pretty_name: Stopwords EN size_categories: - n<1K license: apache-2.0 task_categories: - text-classification --- # Stopwords EN (Teeny-Tiny Castle) This dataset is part of a tutorial tied to the [Teeny-Tiny Castle](https://github.com/Nkluge-correa/TeenyTinyCastle), an open-source repository containing educational tools for AI Ethics and Safety research. ## How to Use ```python from datasets import load_dataset dataset = load_dataset("AiresPucrs/stopwords-en", split = 'train') ```

原始信息汇总

stopwords-en 数据集概述

概览

stopwords-en 数据集包含英语中常用停用词列表。这些词通常在文本预处理和浅层模型训练时从文本数据中移除，特别是在文本分类任务中。

数据集详情

• 数据集名称: stopwords-en
• 总大小: 220 个示例

内容

数据集包含一列字符串，包括罗马字母的所有字母、1 到 10 的数字以及英语中常用的单词，如 "day", "days", "know", "went", "like" 等。

使用方法

python from sklearn.feature_extraction.text import TfidfVectorizer

下载英语停用词列表

stopwords = load_dataset(AiresPucrs/stopwords-en, split=train)[stopwords]

通过 TfidfVectorizer 创建向量化对象

vectorizer = TfidfVectorizer(min_df=10, max_features=100000, analyzer=word, ngram_range=(1, 2), stop_words=stopwords, # 我们的停用词列表 lowercase=True)

将 TfidfVectorizer 拟合到我们的数据集

vectorizer.fit(dataset[text])

许可证

该数据集基于 Apache License 2.0 版本。