ewof/asss-unfiltered-deduped

该数据集是HuggingFaceH4/asss的清理版本，去除了29个明显不一致的实例和21个重复项，剩余398个指令。数据集的原始文件是surge-scale-si-aws-dataset.jsonl，经过clean.py和dedupe.py处理后，文件格式从.jsonl更改为.json。数据集的灵感来源于另一个数据集ehartford/WizardLM_alpaca_evol_instruct_70k_unfiltered。清理脚本wizardlm_clean.py由anon8231489123编写，后被改编为clean.py。

原始信息汇总

数据集概述

数据集名称

• HuggingFaceH4/asss

数据处理

• 数据集经过清洗和去重处理，移除了29个明显的对齐实例和21个重复项。
• 使用clean.py脚本对数据集进行初步清洗，随后使用dedupe.py脚本进行去重处理。
• 数据格式从.jsonl更改为.json。

数据集规模

• 清洗和去重后，剩余398条指令。

灵感来源

• 受到https://huggingface.co/datasets/ehartford/WizardLM_alpaca_evol_instruct_70k_unfiltered的启发。

脚本来源

• 清洗脚本clean.py基于anon8231489123提供的脚本进行了改编。