TYDIP数据集由德克萨斯大学奥斯汀分校计算机科学系创建，专注于九种不同语言的礼貌现象分类。该数据集包含每种语言500个示例，总计4500个示例，每个示例都有三重礼貌标注。数据集内容来源于各自语言的维基百科用户讨论页，旨在捕捉丰富的语言策略。创建过程中，通过精心设计的注释流程确保了注释者之间的高一致性。TYDIP数据集的应用领域包括评估多语言模型、构建礼貌的多语言代理等，旨在解决跨文化交流中的礼貌

arXiv2022-11-30 更新420

ocisd4/common_voice

语音数据

多语言

该数据集包含多种语言版本（如德语、英语、西班牙语等），每个版本的数据集包含音频和消息两个主要特征。音频的采样率为16000Hz，消息包含内容和角色两个字段。数据集分为训练集，每个训练集的大小和示例数量有所不同。

Hugging Face2024-11-17 更新200

PaDaS-Lab/owi-faq-retrieval

文本检索

多语言

这是一个多语言文本检索数据集，包含了多种语言的查询和文档数据，以及相关的评分信息。数据集支持的语言包括阿拉伯语、阿塞拜疆语、孟加拉语、保加利亚语、加泰罗尼亚语等。每个语言都有对应的训练集和测试集，数据中包含了查询ID、文档ID、分数以及文档和查询的文本内容。

Hugging Face2025-03-30 更新520

Intent Classification (en-fr)