ewof/lamini-instruct-unfiltered-deduped
收藏Hugging Face2023-05-15 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/ewof/lamini-instruct-unfiltered-deduped
下载链接
链接失效反馈官方服务：
资源简介：
该数据集名为LaMini Instruct Unfiltered Deduped，来源于MBZUAI/LaMini-instruction，经过处理去除了明显的对齐实例和重复项，最终保留了2,290,278条指令。处理过程包括将原始仓库中的parquet文件合并并转换为jsonl格式，然后使用clean_format_dedupe.py脚本进行清理和去重。
该数据集名为LaMini Instruct Unfiltered Deduped，来源于MBZUAI/LaMini-instruction，经过处理去除了明显的对齐实例和重复项，最终保留了2,290,278条指令。处理过程包括将原始仓库中的parquet文件合并并转换为jsonl格式，然后使用clean_format_dedupe.py脚本进行清理和去重。
提供机构：
ewof
原始信息汇总
数据集概述
数据集名称
- 名称: LaMini Instruct Unfiltered Deduped
数据集大小
- 大小范围: 1M<n<10M
数据集描述
- 描述: 该数据集源自MBZUAI/LaMini-instruction，移除了明显的对齐实例和重复项。
- 剩余指令数量: 2290278
数据处理
- 处理步骤:
- 合并原始仓库中的parquets文件。
- 使用parquet2json转换格式。
- 运行clean_format_dedupe.py脚本进行格式清洗和去重。
贡献者
- 贡献者: ehardford
- 贡献功能: contains_unwanted_words函数
