lorinma/Slim-Wildchat-zh

该数据集是从WildChat中抽取的中文对话数据，经过去重处理后生成了多个子集。去重方法使用了bert-base-chinese模型将问题转换为embedding，并采用类knn的方法进行采样。数据集中包含NSFW内容，未进行过滤。数据集包含三个jsonl文件，分别用于不同的任务和采样方法。

原始信息汇总

数据集概述

语言

• 中文

任务类别

• 对话
• 文本生成

数据规模

• 10K<n<100K

数据处理

• 从WildChat中抽取中文对话，并进行了简单的去重。
• 去重方法：使用bert-base-chinese将第一个问题转换为embedding，采用类knn的方法抽取了1万条对话。
• 数据格式转换为sharegpt格式。

注意事项

• 对话中包含NSFW内容，未进行过滤。

文件列表

• wildchat-seed-multi-200.json：基于每个Dialogue的首个HumanQuestion采样的200个种子任务，用于EvolInsturction。
• Subsample_10K.jsonl：原始版本，基于每个Dialogue的首个HumanQuestion采样的1万个对话。
• 1213_Wildchat_zh_Sharegpt_ConcatSubsample_20k.jsonl：更新版本，基于每个Dialogue的所有HumanQuestion连接起来采样的2万个对话。

搜集汇总

数据集介绍

构建方式

在对话数据集构建领域，高质量的中文对话数据尤为稀缺。本数据集源自AllenAI发布的WildChat，通过提取其中文对话部分，并采用基于bert-base-chinese的嵌入表示将每条对话的首个问题转换为向量，进而利用近似最近邻（类KNN）方法进行去重处理，最终抽取出一万条代表性对话。此外，还基于所有轮次的问题拼接进行二次采样，构建了两万条对话的补充版本，以保留从第二轮开始的有价值交互。所有数据均转换为ShareGPT格式，便于下游任务使用。

使用方法

数据集以JSONL格式提供，包含三个文件：wildchat-seed-multi-200.json适用于EvolInstruction方法驱动的指令微调，Subsample_10K.jsonl和1213_Wildchat_zh_Sharegpt_ConcatSubsample_20k.jsonl则分别适用于单轮对话和多轮对话的模型训练。使用时需注意NSFW内容的潜在影响，建议根据具体应用场景进行适当的过滤或标注。数据可直接加载为ShareGPT格式，兼容主流对话模型训练框架。

背景与挑战

背景概述

在大型语言模型（LLM）飞速发展的时代，高质量的对话数据集成为推动模型能力提升的关键资源。由AllenAI研究团队构建的WildChat数据集，收集了大规模、多样化的真实用户与ChatGPT等模型的交互对话，为对话系统研究提供了宝贵的原始素材。在此背景下，lorinma等人于近期从WildChat中筛选出中文对话子集，并针对其中存在的严重重复问题——例如用户反复使用相同提示词（prompt）或在不同模型版本间重复提问——进行了系统性的去重处理。该数据集的核心研究问题在于如何从海量、嘈杂的真实用户对话中提取高质量、低冗余的中文语料，以支持指令微调（instruction tuning）与对话生成任务。通过采用基于bert-base-chinese的嵌入表示和近似K近邻（KNN）方法，研究者成功采样了1万至2万条代表性对话，并转换为ShareGPT格式，显著提升了数据集的多样性与实用性，为中文对话模型的训练与评估提供了重要参考。

当前挑战

该数据集面临多重挑战。首先，在领域问题层面，真实用户对话中充斥着大量重复、低质量的交互，例如用户反复提交相同问题或在不同模型间切换提问，这严重影响了数据集的多样性和训练效果，亟需高效的去重策略以保留语义丰富的样本。其次，构建过程中遇到的技术挑战包括：如何利用预训练语言模型（如bert-base-chinese）准确捕捉对话的语义相似性，并设计近似KNN算法在十万级数据中高效筛选代表性样本，同时平衡计算成本与采样质量。此外，数据集中存在未过滤的NSFW（不适宜工作场所）内容，这在使用时需额外甄别，增加了应用风险。最后，与Moss003等中文数据集相比，WildChat中文子集覆盖了更广泛的语义空间，但如何进一步优化采样策略以覆盖长尾分布、提升跨领域泛化能力，仍是未来研究的重要方向。

常用场景

经典使用场景

Slim-Wildchat-zh数据集的核心应用场景在于对话生成与指令微调。作为从大规模多语言对话语料WildChat中精心筛选与去重后的中文子集，该数据集保留了真实用户与各类大语言模型（如GPT-3.5、GPT-4）交互的原始对话记录。其经典用法包括作为基座模型的中文对话微调语料，以及通过种子采样构建EvolInstruction任务，用于提升模型对复杂指令的理解与执行能力。借助基于BERT的嵌入表示与近似近邻算法，数据集在压缩冗余信息的同时，维持了语义空间的多样性，尤其适用于训练能够处理多轮、多主题中文对话的生成式模型。

解决学术问题

该数据集有效回应了中文对话语料中普遍存在的重复性高、语义覆盖窄、人工标注成本高昂等学术难题。通过引入基于语义嵌入的去重策略，Slim-Wildchat-zh显著降低了冗余样本对模型训练的干扰，提升了数据效率。同时，其与MOSS等开源语料的语义空间对比揭示，现有中文指令数据集往往仅覆盖真实用户需求的一部分，从而为构建更全面、更贴近实际交互场景的中文对话系统提供了数据层面的理论支撑。这一工作推动了对话数据筛选与表示学习在低资源语言场景下的研究进展。

实际应用

在实际应用中，Slim-Wildchat-zh可广泛用于构建面向中文用户的智能客服、教育辅导、内容创作辅助等对话系统。其多轮对话结构与真实用户提问的多样性，使得基于该数据集训练的模型能够更自然地应对开放式问题、多轮追问以及敏感话题（如NSFW内容需谨慎处理）。此外，通过将对话拼接成更长的上下文样本，数据集还支持长文本生成与上下文连贯性优化，适用于需要持续记忆与逻辑推理的应用场景，如虚拟角色扮演或复杂任务引导。

数据集最近研究

最新研究方向

基于真实用户交互的大规模中文对话数据集构建与去重优化研究。Slim-Wildchat-zh从WildChat中筛选中文对话，针对高频重复提问现象，采用bert-base-chinese将首轮问题转化为嵌入向量，并借助近似最近邻（kNN）方法进行去重，最终生成1万至2万条高质量对话样本。该数据集不仅支持对话生成与指令微调，还通过种子任务采样与多轮对话拼接策略，为EvolInstruction等前沿方法提供多样化训练素材。与MOSS003的语义空间对比显示，WildChat覆盖更广泛的用户意图分布，凸显真实场景下对话数据的独特价值。这项研究为构建更贴近实际应用的大语言模型对话系统奠定了数据基础，尤其在中文领域具有重要参考意义。