Exqrch/Rebuttal-sundanese-pixelgpt-debug

# Sundanese PixelGPT Tokenizer Ablation Dataset
Optimized with **Font Size 6** and **Dynamic Trimming**.

## Tokenizer Schema
1. `tok_grapheme`: Language-specific Grapheme BPE (izzako/sunda-llama-tokenizer)
2. `tok_llama2`: Standard Llama-2 BPE (ernie-research/DualGPT)
3. `tok_komodo`: SEA-Optimized BPE (yellow-ai-central/komodo-7b-v1)
4. `tok_mt5`: Google Multilingual Unigram (google/mt5-small)

# 巽他语PixelGPT分词器消融实验数据集
本数据集采用**字号6（Font Size 6）**与**动态裁剪（Dynamic Trimming）**进行优化。

## 分词器架构
1. `tok_grapheme`：面向特定语言的字形字节对编码（Grapheme BPE，源自izzako/sunda-llama-tokenizer）
2. `tok_llama2`：标准Llama-2字节对编码（BPE，源自ernie-research/DualGPT）
3. `tok_komodo`：东南亚优化型字节对编码（SEA-Optimized BPE，源自yellow-ai-central/komodo-7b-v1）
4. `tok_mt5`：谷歌多语言一元分词模型（Google Multilingual Unigram，源自google/mt5-small）