joelniklaus/legal-mc4

MC4_Legal数据集包含了从mc4数据集中过滤出的法律相关文本资源，总计约106GB，可用于预训练语言模型。该数据集使用了与mc4_legal不同的过滤方法，并在英语部分使用了较小的过滤c4数据集以加快过滤速度。数据集支持多种欧洲语言，包括保加利亚语、捷克语、丹麦语、德语、希腊语、英语、西班牙语、爱沙尼亚语、芬兰语、法语、爱尔兰语、匈牙利语、意大利语、立陶宛语、拉脱维亚语、马耳他语、荷兰语、波兰语、葡萄牙语、罗马尼亚语、斯洛伐克语、斯洛文尼亚语和瑞典语。数据集的文件格式为jsonl.xz，包含训练和验证分割。

The MC4_Legal dataset comprises legal-related text resources filtered from the mC4 dataset, with a total size of approximately 106 GB, and is intended for pre-training language models. This dataset employs a filtering approach distinct from that of the mc4_legal dataset, and utilizes a smaller filtered C4 dataset for the English subset to expedite the filtering procedure. The dataset supports a variety of European languages, including Bulgarian, Czech, Danish, German, Greek, English, Spanish, Estonian, Finnish, French, Irish, Hungarian, Italian, Lithuanian, Latvian, Maltese, Dutch, Polish, Portuguese, Romanian, Slovak, Slovenian, and Swedish. The file format of the dataset is jsonl.xz, and it includes both training and validation splits.

原始信息汇总

数据集概述

数据集名称

• 名称: MC4_Legal: A Corpus Covering the Legal Part of MC4 for European Languages
• 别名: MC4_Legal

数据集基本信息

• 语言: 支持多种欧洲语言，包括bg, cs, da, de, el, en, es, et, fi, fr, ga, hu, it, lt, lv, mt, nl, pl, pt, ro, sk, sl, sv
• 许可证: cc-by-4.0
• 多语言性: 多语言
• 大小: 10M<n<100M
• 源数据集: 原始数据
• 任务类别: fill-mask

数据集内容

• 数据集大小: 约106GB
• 数据格式: jsonl.xz
• 数据分割: 包含训练集和验证集
• 数据实例: 每个语言的数据大小和文档数量不同，详细信息见下表：

语言	大小 (MB)	单词数	文档数	平均单词/文档
所有	448980	28599300521	9873288	2896
...	...	...	...	...

数据集使用

• 使用示例: 使用Hugging Face的datasets库加载数据集，示例代码如下： python from datasets import load_dataset dataset = load_dataset("joelito/mc4_legal", "de", split=train, streaming=True)

数据集创建

• 创建方法: 通过过滤mc4数据集中的法律相关数据创建
• 注意事项: 数据集可能包含噪声，质量未知