Big data language model with part of speech tags stemmed in ARPA format

B2FIND2026-04-29 收录

语言建模

词性标注处理

数据链接：

https://b2find.eudat.eu/dataset/d0a1f86a-13a7-5144-b3ef-61e98ab4a32d 数据链接链接失效反馈

官方服务：

资源简介：

Big data language model with part of speech tags stemmed in ARPA format

Hellisotherpeople/Lipogram-e

受限文本生成

语言建模

Lipogram-e数据集包含三本不包含字母e的英文书籍，分别是Ernest Vincent Wright的《Gadsby》、Georges Perec的《A Void》和Christian Bok的《Eunoia》（除了其中一章使用了字母e）。这些书籍是Lipogram（避字文）的示例，即系统性地省略某个字母或字符串的作品。数据集的主要任务是受限文本生成，但也适用于所有类型的语言建模任务。数据集

Hugging Face2022-09-30 更新270

NOVA-vision-language/calame-pt

语言建模

自然语言处理

CALAME-PT是一个葡萄牙语基准测试，由小文本（上下文）及其相应的最后一个单词组成。这些上下文理论上应包含足够的信息，使人类或模型能够猜测其最后一个单词，而不会过于具体或模糊。数据集分为手写集和生成集两部分，手写集包含406个由葡萄牙语母语者手写的样本，生成集包含1670个由GPT-3.5生成并经过人工审查的样本。生成集的样本来自葡萄牙维基百科、OSCAR和Arquivo.pt等数据源，经过G

Hugging Face2024-03-14 更新210

ByteSpanTokenisers/finewebedu-20B

语言建模

标记化

FineWebEDU 20B是一个用于训练器实验的数据集，包含了全数据集的bytelevel分词版本，以及用于训练、预测和评估的多个子集。还包括了使用不同训练器分词的数据集版本。

Hugging Face2025-06-23 更新100

faur-ai/fulg

语言建模

视觉语言模型

FuLG数据集是一个包含1500亿个标记的罗马尼亚语语料库，这些数据是从Common Crawl中提取并经过严格过滤和去重处理的。该数据集经过95个Common Crawl快照的筛选和去重，压缩后的数据集大小为289 GB。数据集包含多个字段，如URL、下载日期、内容摘要、内容长度、行数、文档域名、文档标题、原始内容文本、CommonCrawl段、原始行数、原始长度、语言和语言评分。

Hugging Face2024-08-15 更新220

Norod78/HebrewStageAndLyricsWithNewLines

文本生成

语言建模

--- dataset_info: features: - name: text dtype: string splits: - name: test num_bytes: 12638465.341690589 num_examples: 11113 - name: train num_bytes: 240110370.6583094 n

Hugging Face2022-12-28 更新110

Big data language model with part of speech tags stemmed in ARPA format

资源简介：

相关数据集