takara-ai/micropajama
收藏Hugging Face2025-09-09 更新2025-09-13 收录
下载链接：
https://hf-mirror.com/datasets/takara-ai/micropajama
下载链接
链接失效反馈官方服务：
资源简介：
MicroPajama是一个用于蒸馏和特征提取的数据集，不包含维基百科内容，从更大的SlimPajama数据集创建而来。它包含253,636,240个tokens，使用BAAI/bge-large-en-v1.5 wordpiece tokenizer。
MicroPajama is a dataset made for distillation and feature extraction without wikipedia, created from the larger SlimPajama dataset. It contains 253,636,240 tokens using the BAAI/bge-large-en-v1.5 wordpiece tokenizer.
提供机构：
takara-ai
