caskcsg/Litelong_Nextlong_512k

Name: caskcsg/Litelong_Nextlong_512k
Creator: caskcsg
Published: 2025-09-20 08:32:41
License: 暂无描述

Hugging Face2025-09-20 更新2026-01-03 收录

下载链接：

https://hf-mirror.com/datasets/caskcsg/Litelong_Nextlong_512k

下载链接

链接失效反馈

官方服务：

资源简介：

--- license: apache-2.0 ---

提供机构：

--- license: apache-2.0 ---

Hugging Face2025-09-19 更新60

NExtLong数据集是通过负文档扩展方法合成的长上下文数据集，它将文档分解成多个元块，并通过插入来自预训练语料库的硬负干扰项来扩展上下文。这种方法迫使模型区分长距离依赖上下文和干扰内容，从而增强其对长距离依赖的建模能力。

Hugging Face2025-08-02 更新30

--- license: apache-2.0 ---

Hugging Face2025-09-19 更新40

--- license: apache-2.0 ---

Hugging Face2025-09-19 更新40

NExtLong数据集是一系列通过负文档扩展方法合成的长上下文数据集，用于训练大型语言模型。这些数据集完全由合成数据组成，来源于fineweb-edu和Cosmopedia v2两个短文本数据集。数据集有不同的规模，包括64K、128K和512K合成数据，以及用于特定模型微调的子集和变体。

Hugging Face2025-08-02 更新150