lorinma/Slim-Moss003sft-zh
收藏Hugging Face2023-12-13 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/lorinma/Slim-Moss003sft-zh
下载链接
链接失效反馈官方服务：
资源简介：
该数据集专注于文本生成和对话任务，语言为中文，数据规模在10K到100K之间。数据集通过去重处理，仅选择中文对话，并使用bert-base-chinese将第一个问题转换为embedding，通过类knn的方法抽取了1万条数据，并转换成了sharegpt格式。
该数据集专注于文本生成和对话任务，语言为中文，数据规模在10K到100K之间。数据集通过去重处理，仅选择中文对话，并使用bert-base-chinese将第一个问题转换为embedding，通过类knn的方法抽取了1万条数据，并转换成了sharegpt格式。
提供机构：
lorinma
原始信息汇总
数据集概述
任务类别
- 文本生成
- 对话系统
语言
- 中文
数据规模
- 10K<n<100K
数据处理
- 对原始Moss003数据集进行了去重处理。
- 去重方法包括：
- 仅选择中文对话。
- 使用bert-base-chinese模型将第一个问题转换为嵌入表示（embedding）。
- 采用类似KNN的方法抽取了1万条数据。
- 数据格式转换为sharegpt格式。
