kdcyberdude/panjabi_eval
收藏Hugging Face2024-06-20 更新2024-06-22 收录
下载链接：
https://hf-mirror.com/datasets/kdcyberdude/panjabi_eval
下载链接
链接失效反馈官方服务：
资源简介：
该数据集用于旁遮普语（Punjabi）的LLM（大型语言模型）评估，涵盖了常识推理、世界知识和阅读理解等任务。具体任务包括Hellaswag、Winogrande、PIQA、OpenbookQA、ARC-Easy、ARC-Challenge（常识推理）、NaturalQuestions、TriviaQA（世界知识）以及BoolQ（阅读理解）。数据集的创建方式是通过机器翻译将英文翻译成旁遮普语，使用的是IndicTrans2-1B模型。
该数据集用于旁遮普语（Punjabi）的LLM（大型语言模型）评估，涵盖了常识推理、世界知识和阅读理解等任务。具体任务包括Hellaswag、Winogrande、PIQA、OpenbookQA、ARC-Easy、ARC-Challenge（常识推理）、NaturalQuestions、TriviaQA（世界知识）以及BoolQ（阅读理解）。数据集的创建方式是通过机器翻译将英文翻译成旁遮普语，使用的是IndicTrans2-1B模型。
提供机构：
kdcyberdude
原始信息汇总
Punjabi LLM eval
数据集概述
该数据集用于评估旁遮普语（Punjabi）语言模型（LLM）。
涵盖内容
- 常识推理：
- Hellaswag
- Winogrande
- PIQA
- OpenbookQA
- ARC-Easy
- ARC-Challenge
- 世界知识：
- NaturalQuestions
- TriviaQA
- 阅读理解：
- BoolQ
数据集创建方法
通过机器翻译从英语到旁遮普语使用IndicTrans2-1B。
使用示例
- 创建Python环境并安装HuggingFace数据集（
pip install datasets）。 - 运行以下代码：
Python import datasets
tasks = ["arc_challenge", "arc_easy", "boolq", "hellaswag", "nq_open", "openbookqa", "piqa", "triviaqa", "winogrande"]
for task in tasks: dataset = datasets.load_dataset("gordicaleksa/serbian-llm-eval-v1", task) for split in dataset.keys(): dataset = dataset[split] print(f"Task: {task}, Split: {split}") for example in dataset: print(example)
