cognitivecomputations/open-instruct-uncensored

该数据集是Allen AI的open-instruct数据集，用于训练Tulu系列的模型。数据集经过处理，包括下载未过滤的sharegpt数据集、合并处理后的数据文件，并通过自定义脚本移除拒绝回答的内容，生成了一个未经过滤的版本。作者正在使用这个未经过滤的数据集训练一个新的模型系列。

原始信息汇总

数据集概述

数据集名称

• Allen AIs open-instruct dataset

数据集用途

• 用于训练Tulu系列模型

相关模型链接

• allenai/tulu-7b
• allenai/tulu-13b
• allenai/tulu-30b
• allenai/tulu-65b

数据集处理步骤

1. 下载open-instruct仓库
2. 执行scripts/prepare_train_data.sh脚本，下载"unfiltered"版本的sharegpt数据集
3. 合并data/processed/**/*.jsonl为单个文件open-instruct.jsonl
4. 使用remove_refusals.py脚本处理open-instruct.jsonl，生成open-instruct-uncensored.jsonl

当前进展

• 正在使用open-instruct-uncensored.jsonl训练名为ehartford/tulu-uncensored的新模型系列