05a Korpusvorbereitung-Fuer-fastText-Calderon.R

B2FIND2026-04-25 收录

文本语料处理

词嵌入训练

数据链接：

https://b2find.eudat.eu/dataset/f9a43224-7313-56e4-a582-9cb968606d6d 数据链接链接失效反馈

官方服务：

资源简介：

R-Code: Korpusvorbereitung für fastText, R-Datei, UTF-8 codiert, Herstellen des Inputs für fastText

dclm-baseline-1.0-llama3-tokenized

语言模型预训练

文本语料处理

DCLM-Baseline Pretokenized 数据集是 DCLM-Baseline 的预分词和全局洗牌版本，专为大规模语言模型预训练设计，尤其适用于 LLaMA 3.1 风格的训练流程。数据集包含约 4T 令牌和 2,949,254,346 份文档，使用 LLaMA 3.1 分词器进行独立编码，无填充或截断。通过固定随机种子对所有文档进行全局洗牌，确保原始数据的分片顺序不保留任何局部性。文

Hugging Face2026-04-26 更新310

geniacllm/CultulaX_default_filtered_ja

语言模型预训练

文本语料处理

# データについて - 0.1Bモデル用データセットの整備として下記を行ったものです。 - CultulaXの日本語データ前処理 - ダウンロード - 前処理（標準コードのデフォルトフィルタのみ） ## License Information The licence terms for CulturaX strictly follows those of `mC4`

Hugging Face2024-08-15 更新110

nickypro/fineweb-gemma270m-texts-split

语言模型训练

文本语料处理

--- dataset_info: features: - name: index dtype: int64 - name: split_text sequence: string splits: - name: train num_bytes: 501294975 num_examples: 132224 download_size: 22

Hugging Face2025-11-18 更新70

rokset3/slimpajama

语言模型预训练

文本语料处理

--- dataset_info: features: - name: text dtype: string - name: meta struct: - name: redpajama_set_name dtype: string splits: - name: train num_bytes: 23874206724 nu

Hugging Face2023-10-12 更新150

ptb_text_only

语言模型训练

文本语料处理

Penn Treebank主要提供1989年华尔街日报的文本数据，规模约为百万词，主要用于语言建模任务。该数据集中的罕见词已被替换为` `标记，数字被替换为` `标记。数据来源于原始文本，并由专家进行标注。使用者需注意其授权许可，仅供研究目的使用。

Opencsg2024-07-19 更新70