Exqrch/Rebuttal-lampung-pixelgpt-debug

# Lampung PixelGPT Tokenizer Ablation Dataset Optimized with **Font Size 6** and **Dynamic Trimming**. ## Tokenizer Schema 1. `tok_grapheme`: Language-specific Grapheme BPE (izzako/sunda-llama-tokenizer) 2. `tok_llama2`: Standard Llama-2 BPE (ernie-research/DualGPT) 3. `tok_komodo`: SEA-Optimized BPE (yellow-ai-central/komodo-7b-v1) 4. `tok_mt5`: Google Multilingual Unigram (google/mt5-small)# 楠榜像素GPT分词器消融实验数据集（Lampung PixelGPT Tokenizer Ablation Dataset） 本数据集采用字号6（Font Size 6）与动态修剪（Dynamic Trimming）进行优化。 ## 分词器架构（Tokenizer Schema） 1. `tok_grapheme`：语言专属字素字节对编码（Grapheme BPE，开源仓库地址：izzako/sunda-llama-tokenizer） 2. `tok_llama2`：标准Llama-2字节对编码（开源仓库地址：ernie-research/DualGPT） 3. `tok_komodo`：东南亚语言优化字节对编码（SEA-Optimized BPE，开源仓库地址：yellow-ai-central/komodo-7b-v1） 4. `tok_mt5`：谷歌多语言单字分词器（Multilingual Unigram，开源仓库地址：google/mt5-small）