general-instruction-augmented-corpora

Instruction Pre-Training: Language Models are Supervised Multitask Learners 提供了一套通用指令增强语料库，包含2亿条指令-响应对，覆盖40多个任务类别。该语料库通过高效的指令合成器生成，用于大规模原始语料的指令增强预训练。它支持文本分类、表格问答、问题回答和零样本分类等任务，并提供标准化数据操作流程，方便用户将语料用于模型预训练。该语料库基于odc-by协议授权。