Exqrch/Rebuttal-sundanese-pixelgpt-debug

# Sundanese PixelGPT Tokenizer Ablation Dataset Optimized with **Font Size 6** and **Dynamic Trimming**. ## Tokenizer Schema 1. `tok_grapheme`: Language-specific Grapheme BPE (izzako/sunda-llama-tokenizer) 2. `tok_llama2`: Standard Llama-2 BPE (ernie-research/DualGPT) 3. `tok_komodo`: SEA-Optimized BPE (yellow-ai-central/komodo-7b-v1) 4. `tok_mt5`: Google Multilingual Unigram (google/mt5-small)# 巽他语PixelGPT分词器消融实验数据集 本数据集采用**字号6（Font Size 6）**与**动态裁剪（Dynamic Trimming）**进行优化。 ## 分词器架构 1. `tok_grapheme`：面向特定语言的字形字节对编码（Grapheme BPE，源自izzako/sunda-llama-tokenizer） 2. `tok_llama2`：标准Llama-2字节对编码（BPE，源自ernie-research/DualGPT） 3. `tok_komodo`：东南亚优化型字节对编码（SEA-Optimized BPE，源自yellow-ai-central/komodo-7b-v1） 4. `tok_mt5`：谷歌多语言一元分词模型（Google Multilingual Unigram，源自google/mt5-small）