atom-in-the-universe/cc-pdf-extracted-100k
收藏Hugging Face2023-11-14 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/atom-in-the-universe/cc-pdf-extracted-100k
下载链接
链接失效反馈官方服务：
资源简介：
---
license: apache-2.0
---
# Stats for number of tokens:
```
+--------------+
|sum(num_words)|
+--------------+
| 34469983|
+--------------+
+---------------+
|sum(num_tokens)|
+---------------+
| 59332879|
+---------------+
+-----------------+
| avg(num_words)|
+-----------------+
|3895.353486269635|
+-----------------+
+-----------------+
| avg(num_tokens)|
+-----------------+
|6705.037744377896|
+-----------------+
```
提供机构：
atom-in-the-universe
原始信息汇总
数据集统计信息
总词数和总令牌数
- 总词数 (sum(num_words)): 34,469,983
- 总令牌数 (sum(num_tokens)): 59,332,879
平均词数和平均令牌数
- 平均词数 (avg(num_words)): 3895.353486269635
- 平均令牌数 (avg(num_tokens)): 6705.037744377896
