malaysia-ai/mosaic-combine-all

该存储库用于使用Mosaic格式存储数据集分片，以便训练马来西亚的大语言模型（LLM）。数据集准备过程在特定GitHub链接中描述，使用了特定的BPE tokenizer，并且上下文长度为4096。

原始信息汇总

数据集概述

数据集描述

• 名称: mosaic-combine-all
• 语言: 马来语 (ms)
• 格式: 马赛克格式
• 目的: 用于训练马来西亚的大型语言模型 (LLM)

数据集准备

• 准备脚本: combine-all.ipynb
• 分词器: bpe-tokenizer
• 上下文长度: 4096

使用方法

1. 克隆数据集: bash git lfs clone https://huggingface.co/datasets/malaysia-ai/mosaic-combine-all

2. 加载数据集: python from streaming import LocalDataset import numpy as np from streaming.base.format.mds.encodings import Encoding, _encodings

   class UInt16(Encoding): def encode(self, obj) -> bytes: return obj.tobytes()

    def decode(self, data: bytes):
        return np.frombuffer(data, np.uint16)
   

   _encodings[uint16] = UInt16

   dataset = LocalDataset(mosaic-combine-all) len(dataset)