这是一个经过处理的 sharegpt_clean.json 版本数据集，名为 openchat/openchat_sharegpt4_dataset。数据集支持多种语言，包括英语、中文、韩语、西班牙语、法语、日语、德语、葡萄牙语、俄语、意大利语、印尼语、越南语、荷兰语、波兰语、土耳其语、捷克语、希伯来语和乌克兰语。处理步骤包括纠正对话顺序、添加语言字段、去重、删除URL、电子邮件和电话号码等个人信

Hugging Face2025-12-16 更新280

ocisd4/common_voice

语音数据

多语言

该数据集包含多种语言版本（如德语、英语、西班牙语等），每个版本的数据集包含音频和消息两个主要特征。音频的采样率为16000Hz，消息包含内容和角色两个字段。数据集分为训练集，每个训练集的大小和示例数量有所不同。

Hugging Face2024-11-17 更新160

wecover/OPUS

翻译

多语言

该数据集主要来源于OPUS平台，包含了多个语料库，如UNPC、GlobalVoices、TED2020、News-Commentary、WikiMatrix、Tatoeba、Europarl和OpenSubtitles。每个语料库的每个语言对随机抽取了25,000个样本，数据未经修改。数据集涵盖了多种语言，包括但不限于非洲语、阿拉伯语、中文、英语、法语、德语、日语等。

Hugging Face2024-05-23 更新660

Tagengo

多语言

自然语言处理

Tagengo数据集是由Lightblue KK创建的一个高质量多语言聊天数据集，包含超过70,000个提示-响应对，涵盖74种语言。该数据集由人类生成的提示和合成响应组成，用于训练和评估多语言大型语言模型。创建过程中，数据集通过严格的筛选和清洗，确保了数据的质量和多样性。Tagengo数据集主要应用于提升大型语言模型在多语言环境下的聊天能力，解决现有模型在非英语语言上的性能不足问题。

arXiv2024-05-21 更新270

christinacdl/Multilingual_Clickbait_Dataset

资源简介：

数据集许可证

相关数据集