MultiLegalSBD是一个包含超过130,000个标注句子的多语言法律句子边界检测数据集，涵盖法语、意大利语、西班牙语、英语和德语。该数据集由伯尔尼大学创建，旨在解决法律领域中复杂的句子结构问题。数据集内容包括各种法律领域的判决和法律条文，数据来源于多个国家和地区的法律文件。创建过程中，使用了基于CRF的自动句子边界检测系统进行初步标注，并通过人工校正提高数据质量。该数据集主要应用于法律文本

arXiv2023-05-02 更新210

SuperWikiImage-7M

图像数据集

多语言

SuperWikiImages-7M 是一个从维基百科抓取的大规模图像数据集，总计约15TiB，包含约700万张图像。该数据集由KaraKaraWitch策划，并由Recursal.ai资助。它支持多种任务，包括图像分类、图像到文本、文本到图像和图像到图像。数据集是多语言的，涵盖了来自各种维基百科版本的广泛语言。图像经过筛选，仅包括具有特定文件扩展名（jpeg、jpg、png）的图像，并通过文件名

Hugging Face2024-10-06 更新100

wygao8/13B-LoRA-DP0.8-BG5-R2

机器翻译

多语言

该数据集包含多个语言对的翻译数据，涵盖捷克语-英语、德语-英语、冰岛语-英语、俄语-英语和中文-英语等语言对。每个语言对的特征包括翻译文本和相关的序列数据，以及一些元数据如语言对标识和所需翻译方向。数据集分为训练集（train），每个语言对的训练集包含2009个样本。

Hugging Face2024-07-17 更新210

ocisd4/common_voice

语音数据

多语言

该数据集包含多种语言版本（如德语、英语、西班牙语等），每个版本的数据集包含音频和消息两个主要特征。音频的采样率为16000Hz，消息包含内容和角色两个字段。数据集分为训练集，每个训练集的大小和示例数量有所不同。

Hugging Face2024-11-17 更新110