CCAligned提供与英语对齐的137种语言的平行或可比较的Web文档对，规模从小于1K到超过10M样本不等。这些数据通过对原始Web文档进行语言识别，并确保Web文档URL中相应的语言代码对应来构建。数据集中包含领域、源URL、目标URL以及翻译内容等字段，部分数据还提供LASER相似度评分。CCAligned支持多种任务，但具体任务类型和排行榜信息缺失。使用者在使用该数据集时，需要注意数据集

OpenCSG2024-07-19 更新60

fpadovani/goldfish-Dp-swedish-10mb-tokenized

多语言自然语言处理

文本分词数据集

--- dataset_info: features: - name: input_ids list: int32 - name: attention_mask list: int8 splits: - name: train num_bytes: 1161700653 num_examples: 3671111 download_size:

Hugging Face2026-05-24 更新50

H-Prop and H-Prop-News Propaganda Datasets in Hindi

宣传检测

多语言自然语言处理

The H-Prop dataset contains 28,630 articles created by translating a portion of Proppy Corpus in Hindi. Each article is labeled as either “propagandistic” (positive class) or “non-propagandistic” (neg

Zenodo2022-01-07 更新60

sapienzanlp-course-materials/hw-mnlp-2026

语义搜索

多语言自然语言处理

--- dataset_info: features: - name: wikipedia_title dtype: string - name: wikidata_id dtype: string - name: query dtype: string - name: query_id dtype: string - name: candi

Hugging Face2026-04-01 更新50