Exqrch/Rebuttal-lampung-pixelgpt-debug
收藏Hugging Face2026-04-08 更新2026-04-12 收录
下载链接：
https://hf-mirror.com/datasets/Exqrch/Rebuttal-lampung-pixelgpt-debug
下载链接
链接失效反馈官方服务：
资源简介：
# Lampung PixelGPT Tokenizer Ablation Dataset
Optimized with **Font Size 6** and **Dynamic Trimming**.
## Tokenizer Schema
1. `tok_grapheme`: Language-specific Grapheme BPE (izzako/sunda-llama-tokenizer)
2. `tok_llama2`: Standard Llama-2 BPE (ernie-research/DualGPT)
3. `tok_komodo`: SEA-Optimized BPE (yellow-ai-central/komodo-7b-v1)
4. `tok_mt5`: Google Multilingual Unigram (google/mt5-small)
# 楠榜像素GPT分词器消融实验数据集（Lampung PixelGPT Tokenizer Ablation Dataset）
本数据集采用字号6（Font Size 6）与动态修剪（Dynamic Trimming）进行优化。
## 分词器架构（Tokenizer Schema）
1. `tok_grapheme`：语言专属字素字节对编码（Grapheme BPE，开源仓库地址：izzako/sunda-llama-tokenizer）
2. `tok_llama2`：标准Llama-2字节对编码（开源仓库地址：ernie-research/DualGPT）
3. `tok_komodo`：东南亚语言优化字节对编码（SEA-Optimized BPE，开源仓库地址：yellow-ai-central/komodo-7b-v1）
4. `tok_mt5`：谷歌多语言单字分词器（Multilingual Unigram，开源仓库地址：google/mt5-small）
提供机构：
Exqrch
