ewof/alpaca-instruct-unfiltered

该数据集源自https://github.com/tatsu-lab/stanford_alpaca，经过处理后移除了2095个明显对齐的实例，保留了49907条指令。处理过程中使用了基于anon8231489123清理脚本改编的clean.py脚本，并且normal dedupe.py脚本未发现重复数据。该数据集的灵感来源于https://huggingface.co/datasets/ehartford/WizardLM_alpaca_evol_instruct_70k_unfiltered。

原始信息汇总

数据集概述

数据集来源

• 数据集来源于GitHub仓库：tatsu-lab/stanford_alpaca。

数据集处理

• 原始数据集经过clean.py脚本处理，该脚本首次运行于alpaca_data.json文件。
• 处理过程中移除了2095个明显的对齐实例。

数据集规模

• 处理后剩余49907条指令。

数据集去重

• 使用dedupe.py脚本进行去重处理，未发现重复数据。

灵感来源

• 数据集的灵感来源于ehartford/WizardLM_alpaca_evol_instruct_70k_unfiltered。

清理脚本

• clean.py脚本基于anon8231489123提供的清理脚本进行改编，该脚本最初用于wizardlm_clean.py。