FB Longformer

LongForm数据集是由慕尼黑大学等机构的研究人员创建的，通过利用英语语料库示例和反向指令方法生成指令调优数据。该数据集从C4和维基百科等现有语料库中选择多样化的人类编写文档，并生成相应指令，还扩展了结构化语料库示例和多种任务示例。