huseinzol05/mosaic-tinyllama

该数据集使用Mosaic格式存储，旨在微调TinyLlama模型。数据集来源于一个去重文本数据集，使用了TinyLlama-1.1B-intermediate-step-955k-token-2T tokenizer，上下文长度为4096。用户可以通过git lfs克隆数据集，并使用streaming库加载数据集。

This dataset is stored in mosaic format, designed for finetuning TinyLlama models. It uses the TinyLlama/TinyLlama-1.1B-intermediate-step-955k-token-2T tokenizer with a 4096 context length. To use it, clone the dataset via git lfs and load it using the provided Python code.

原始信息汇总

数据集概述

数据集名称

Mosaic format for filtered combine dataset to finetune TinyLlama models

数据格式

使用mosaic格式存储数据集分片。

相关链接

• 数据集处理笔记本：https://github.com/malaysia-ai/dedup-text-dataset/blob/main/tinyllama/combine-dataset.ipynb
• 使用的Tokenizer：https://huggingface.co/TinyLlama/TinyLlama-1.1B-intermediate-step-955k-token-2T

数据集参数

• 上下文长度：4096

使用方法

1. 克隆数据集： bash git lfs clone https://huggingface.co/datasets/malaysia-ai/mosaic-tinyllama

2. 加载数据集： python from streaming import LocalDataset import numpy as np from streaming.base.format.mds.encodings import Encoding, _encodings

   class UInt16(Encoding): def encode(self, obj) -> bytes: return obj.tobytes()

   def decode(self, data: bytes):
       return np.frombuffer(data, np.uint16)
   

   _encodings[uint16] = UInt16

   dataset = LocalDataset(mosaic-tinyllama) len(dataset)