izzako/balinese-pixelgpt
收藏Hugging Face2025-12-18 更新2025-12-20 收录
下载链接：
https://hf-mirror.com/datasets/izzako/balinese-pixelgpt
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含用于训练PixelGPT模型的预处理巴厘语文本数据。数据集统计显示共有54,467个样本，其中训练样本54,017个，测试样本450个。特征包括文档标识符、块标识符、aksara文本的像素表示、基于字形的tokenizer的token ID、LLaMA tokenizer的token ID以及原始文本块。
This dataset contains preprocessed Balinese text data for training PixelGPT models. Dataset statistics show a total of 54,467 samples, with 54,017 training samples and 450 test samples. Features include document identifiers, chunk identifiers, pixel representations of aksara text, token IDs from grapheme-based tokenizer, token IDs from LLaMA tokenizer, and original text chunks.
提供机构：
izzako
