Confirm-Labs/pile_bigram_prefixes
收藏Hugging Face2023-06-25 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/Confirm-Labs/pile_bigram_prefixes
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含bigram的前缀信息，具体包括第一个词（id0）、最常见的跟随词（id1）、id0在The Pile数据集中的总出现次数（sum_count）、id1跟随id0出现的最大次数（max_count）以及max_count与sum_count的比值（frac_max）。
该数据集包含bigram的前缀信息，具体包括第一个词（id0）、最常见的跟随词（id1）、id0在The Pile数据集中的总出现次数（sum_count）、id1跟随id0出现的最大次数（max_count）以及max_count与sum_count的比值（frac_max）。
提供机构：
Confirm-Labs
原始信息汇总
数据集概述：bigram_prefixes
数据集结构
- id0: 二元组中的第一个词。
- id1: 在The Pile数据集中，紧随
id0出现的最常见词。 - sum_count:
id0在The Pile数据集中的出现次数。 - max_count:
id1在The Pile数据集中紧随id0出现的次数。 - frac_max:
max_count与sum_count的比值，即max_count / sum_count。
