c2-logs-cleaned

该仓库提供了一个经过清洗和去重的对话数据集，最初由maywell训练了一个分类器来移除拒绝回复。数据来源于vgdasfgadg的原始转储。数据集的处理流程包括移除拒绝回复、去重、移除非英语内容、移除空消息和特定类型的对话内容，以及重新运行非英语内容过滤器。最终数据集大小为1.35GB，遵循Apache 2.0许可协议。