Exqrch/Rebuttal-javanese-pixelgpt
收藏Hugging Face2026-04-08 更新2026-04-12 收录
下载链接：
https://hf-mirror.com/datasets/Exqrch/Rebuttal-javanese-pixelgpt
下载链接
链接失效反馈官方服务：
资源简介：
# Javanese PixelGPT Tokenizer Ablation Dataset
Optimized with **Font Size 6** and **Dynamic Trimming**.
## Tokenizer Schema
1. `tok_grapheme`: Language-specific Grapheme BPE (izzako/javanese-llama-tokenizer)
2. `tok_llama2`: Standard Llama-2 BPE (ernie-research/DualGPT)
3. `tok_komodo`: SEA-Optimized BPE (yellow-ai-central/komodo-7b-v1)
4. `tok_mt5`: Google Multilingual Unigram (google/mt5-small)
# 爪哇语PixelGPT分词器消融实验数据集
采用**字号6（Font Size 6）**与**动态裁剪（Dynamic Trimming）**技术进行优化。
## 分词器架构
1. `tok_grapheme`：语言专属字素字节对编码（Grapheme BPE），对应仓库为izzako/javanese-llama-tokenizer
2. `tok_llama2`：标准Llama-2字节对编码，对应仓库为ernie-research/DualGPT
3. `tok_komodo`：东南亚优化型字节对编码（SEA-Optimized BPE），对应仓库为yellow-ai-central/komodo-7b-v1
4. `tok_mt5`：谷歌多语言一元分词模型（Google Multilingual Unigram），对应仓库为google/mt5-small
提供机构：
Exqrch
