LeWiDi-2025数据集是一个用于训练和评估自然语言处理模型的资源，它包含了四个数据集，分别是：Conversational Sarcasm Corpus (CSC)、MultiPICo dataset (MP)、VariErr NLI dataset (VEN)和Paraphrase Detection dataset (Par)。这些数据集覆盖了自然语言处理的多个领域，包括讽刺检测、自然语

arXiv2025-10-10 更新440

classla/xlm-r-bertic-data

自然语言处理

多语言数据

该数据集包含115亿个克罗地亚语、波斯尼亚语、黑山语和塞尔维亚语的文本单词，是BERTić-data数据集的扩展。新增了MaCoCu HBS爬取集合和mC4 HBS数据集。数据集通过`onion`工具基于5个单词的元组进行去重，重复阈值为90%。

Hugging Face2024-05-29 更新280

sentence-transformers/miracl

句子嵌入

多语言数据

MIRACL数据集是一个多语言数据集，支持包括英语、阿拉伯语、孟加拉语、西班牙语、波斯语、芬兰语、法语、印地语、印尼语、日语、韩语、俄语、斯瓦希里语、泰卢固语、泰语和中文在内的多种语言。该数据集主要用于特征提取和句子相似性任务。数据集包含多种配置，每种配置都有不同的特征和分割，主要关注三元组数据结构（anchor、positive、negative）。README文件中还提供了每种配置的字节数、示

Hugging Face2024-06-20 更新470

C4Corpus

多语言数据

网络数据分析

C4Corpus是一个多语言的Web规模数据集，具有免费许可证，用于处理和分析来自CommonCrawl的Creative Commons内容。

github2024-03-01 更新310