lorinma/Slim-Moss003sft-zh

该数据集专注于文本生成和对话任务，语言为中文，数据规模在10K到100K之间。数据集通过去重处理，仅选择中文对话，并使用bert-base-chinese将第一个问题转换为embedding，通过类knn的方法抽取了1万条数据，并转换成了sharegpt格式。

原始信息汇总

数据集概述

任务类别

• 文本生成
• 对话系统

语言

• 中文

数据规模

• 10K<n<100K

数据处理

• 对原始Moss003数据集进行了去重处理。
• 去重方法包括：
  • 仅选择中文对话。
  • 使用bert-base-chinese模型将第一个问题转换为嵌入表示（embedding）。
  • 采用类似KNN的方法抽取了1万条数据。
  • 数据格式转换为sharegpt格式。