universitytehran/PersianPerplexity
收藏Hugging Face2024-01-09 更新2025-04-12 收录
下载链接:
https://hf-mirror.com/datasets/universitytehran/PersianPerplexity
下载链接
链接失效反馈官方服务:
资源简介:
---
dataset_info:
features:
- name: text
dtype: string
splits:
- name: train
num_bytes: 337466
num_examples: 287
download_size: 166877
dataset_size: 337466
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
language:
- fa
---
# Persian Perplexity Dataset
Persian test perplexity dataset comprises articles from Tarjomaan and Faradars blog.
## Uses
Calculating [perplexity](https://huggingface.co/docs/transformers/perplexity) of language models.
---
数据集信息:
特征:
- 名称:文本
数据类型:字符串
划分集:
- 名称:训练集
字节数:337466
样本数量:287
下载大小:166877
数据集总大小:337466
配置项:
- 配置名称:默认配置
数据文件:
- 划分集:训练集
路径:data/train-*
语言:
- 波斯语(fa)
---
# 波斯语困惑度数据集(Persian Perplexity Dataset)
本波斯语测试困惑度数据集涵盖来自Tarjomaan与Faradars博客的文章。
## 应用场景
用于计算大语言模型的[困惑度(perplexity)](https://huggingface.co/docs/transformers/perplexity)。
提供机构:
universitytehran



