sentences-tokenizer-2

kaggle2021-06-22 更新2024-03-11 收录

下载链接：

https://www.kaggle.com/datasets/apachefranklin/sentencestokenizer2

下载链接

链接失效反馈

官方服务：

资源简介：

that is a part of europarl dataset

创建时间：

2021-06-22

kanishka/babylm2-sentence-tokenized

该数据集包含一个名为text的字段，数据类型为字符串。数据集分为训练集和验证集，训练集包含13,060,876个样本，大小为590,245,654字节；验证集包含1,317,808个样本，大小为61,742,239字节。数据集的下载大小为382,795,379字节，总大小为651,987,893字节。数据文件的路径和分割方式在配置部分有详细描述。

Hugging Face2024-08-07 更新40

huntoken - tokenizer and sentence splitter

HunToken is a rule based tokenizer and sentence boundary detector for Hungarian (and English) texts.

B2FIND10

Sentence after tokenization and set up sentence indicator.

NIAID Data Ecosystem60

Punkt Sentence Tokenizer Models

Kiss and Strunk (2006) Unsupervised Multilingual Sentence Boundary Detection

kaggle2017-08-17 更新60

Ba2han/sentences-translation-tokenized

该数据集包含两个特征字段：input_ids和attention_mask，其中input_ids是int32类型的列表，attention_mask是int8类型的列表。数据集被划分为训练集，共有2164691个样本，总大小为930903587字节。尽管README没有提供详细的数据集描述，但可以推测这是一个用于某种序列处理任务的数据集，可能涉及到自然语言处理。

Hugging Face2025-10-17 更新80