Longdata-PT
收藏官方服务:
资源简介:
本数据集可用于 SLM 的长上下文能力 PT。 包括 Fineweb-ed 的基础知识,以及 pq19、arxiv 的长文本数据。 可用75%的短语料(fineweb-edu)进行基础能力的训练,25%长短混合数据,赋予模型长上下文能力。
提供机构:
maas创建时间:
2026-03-09

本数据集可用于 SLM 的长上下文能力 PT。 包括 Fineweb-ed 的基础知识,以及 pq19、arxiv 的长文本数据。 可用75%的短语料(fineweb-edu)进行基础能力的训练,25%长短混合数据,赋予模型长上下文能力。