--- dataset_info: features: - name: docid dtype: string - name: title dtype: string - name: text dtype: string splits: - name: train num_bytes: 13936141152 num_examples

Hugging Face2024-03-01 更新130

Schön und lieblich

外国文学研究

文本语料库

Source: Friedrich Hebbel: Sämtliche Werke. Historisch-kritische Ausgabe. Besorgt von Richard Maria Werner. 1. Abteilung: Werke, Berlin: B. Behr’s Verlag, [1911 ff].

B2FIND80

pietrolesci/pile-deduped-pythia-preshuffled

语言模型预训练

文本语料库

这个数据集包含了完全准备好的数据，这些数据已经被标记化并预洗牌，用于训练Pythia（去重）模型。该数据集与EleutherAI组织下的EleutherAI/pile-deduped-pythia-preshuffled数据集相同，但以更易于管理的格式呈现。数据集分为143个块（parquet文件），每个块包含1024000个序列（行），对应1000个批次，每个批次由1024个序列组成。数据集包含

Hugging Face2025-03-25 更新210

geniacllm/aozora_bunko

日本文学数字化

文本语料库

--- license: cc-by-4.0 --- This is a fork of the dataset provided by Globis University on Hugging Face (https://huggingface.co/datasets/globis-university/aozorabunko-clean).

Hugging Face2024-08-15 更新120