ErikYip/LLM-Uncertainty-Bench

Datasets comprising 10,000 instances each used for uncertainty quantification in LLMs.

1. mmlu_10k is used for question answering.
2. cosmosqa_10k is used for reading comprehension.
3. hellaswag_10k is used for commonsense inference.
4. halu_dialogue is used for dialogue response selection.
5. halu_summarization is used for document summarization.

For more details on how these datasets are utilized, check out our github repo: https://github.com/smartyfh/LLM-Uncertainty-Bench/tree/main

原始信息汇总

数据集概述

本数据集包含五个子数据集，每个子数据集包含10,000个实例，用于大型语言模型（LLMs）中的不确定性量化。

子数据集详情

1. mmlu_10k：用于问答任务。
2. cosmosqa_10k：用于阅读理解任务。
3. hellaswag_10k：用于常识推理任务。
4. halu_dialogue：用于对话响应选择任务。
5. halu_summarization：用于文档摘要任务。