jhu-clsp/mmBERT-midtraining-data
收藏Hugging Face2025-10-13 更新2025-09-13 收录
下载链接：
https://hf-mirror.com/datasets/jhu-clsp/mmBERT-midtraining-data
下载链接
链接失效反馈官方服务：
资源简介：
mmBERT模型训练的中期数据集，包含高质量的多种语言数据，用于支持8192个标记的上下文长度。数据集经过精心筛选，包括多种来源的数据，如高质量的多语言网络爬取数据、过滤后的英文网页数据、代码库和文件、学术预印本、数学内容、文学作品和参考书籍、科学论文、指示跟随数据、问答论坛内容以及百科全书文章。
The mid-training dataset for mmBERT models, containing high-quality multilingual data to support context lengths of up to 8192 tokens. The dataset has been carefully curated, including data sources such as high-quality multilingual web crawl data, filtered English web data, code repositories and files, academic preprints, mathematical content, literature and reference books, scientific papers, instruction-following data, Q&A forum content, and encyclopedia articles.
提供机构：
jhu-clsp
