Confirm-Labs/pile_top_bigrams
收藏Hugging Face2023-06-25 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/Confirm-Labs/pile_top_bigrams
下载链接
链接失效反馈官方服务：
资源简介：
# top_bigrams
See https://confirmlabs.org/posts/catalog.html for details.
- `id0`: the first token in the bigram
- `id1`: the most common token following `id0` in The Pile
- `sum_count`: the number of times that `id0` appears in The Pile.
- `max_count`: the number of times that `id1` appears after `id0` in The Pile.
- `frac_max`: `max_count / sum_count`
- `token0`: the string representation of `id0`
- `token1`: the string representation of `id1`
- `seq`: the string representation of the bigram, `token0 token1`
- `p_{model_size}`: the probability of the bigram under Pythia-{model_size} when prompted with `id0`.
提供机构：
Confirm-Labs
原始信息汇总
数据集概述：top_bigrams
数据集结构
- id0: 二元组中的第一个词。
- id1: 在The Pile数据集中，紧随
id0出现最频繁的词。 - sum_count:
id0在The Pile数据集中的出现总次数。 - max_count:
id1在The Pile数据集中紧随id0出现的次数。 - frac_max:
max_count / sum_count，即id1紧随id0出现的频率。 - token0:
id0的字符串表示。 - token1:
id1的字符串表示。 - seq: 二元组的字符串表示，格式为
token0 token1。 - p_{model_size}: 在Pythia-{model_size}模型中，当提示
id0时，该二元组的概率。
