Confirm-Labs/pile_trigram_prefixes
收藏Hugging Face2023-06-25 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/Confirm-Labs/pile_trigram_prefixes
下载链接
链接失效反馈官方服务：
资源简介：
# trigram_prefixes
See https://confirmlabs.org/posts/catalog.html for details.
- `id0`: the first token in the trigram
- `id1`: the second token in the trigram
- `id2`: the most common token following `(id0, id1)` in The Pile
- `sum_count`: the number of times that `(id0, id1)` appears in The Pile.
- `max_count`: the number of times that `id2` appears after `(id0, id1)` in The Pile.
- `frac_max`: `max_count / sum_count`
提供机构：
Confirm-Labs
原始信息汇总
数据集概述
数据集名称
trigram_prefixes
数据集结构
id0: 三元组中的第一个词id1: 三元组中的第二个词id2: 在The Pile数据集中，跟随(id0, id1)出现频率最高的词sum_count:(id0, id1)在The Pile数据集中的出现次数max_count:id2在The Pile数据集中跟随(id0, id1)出现的次数frac_max:max_count / sum_count，即max_count与sum_count的比值
