MassiveDS
收藏arXiv2025-09-30 收录
下载链接：
https://github.com/RulinShao/retrieval-scaling
下载链接
链接失效反馈官方服务：
资源简介：
该数据集名为MassiveDS，包含了1.4万亿个标记，融合了特定领域数据和通用网络数据，旨在为基于检索的语言模型提供服务。该数据集不仅包括了来自专业领域的特定领域数据，还包含了广泛的网络数据，并提供了一个有效的数据存储扩展研究流程。其规模达到了1.4万亿个标记，适用于语言建模和知识密集型任务。
提供机构：
Open-sourced by the authors
