mmlu-pro-llama3.1-8b-instruct-temp0.9-samples99-logprobs

该数据集是对现有MMLU-Pro自一致性运行的增强，为每个采样的完成提供了标记级别的对数概率。它适用于需要每个问题的多个采样答案以及每个采样答案的每个标记置信度信息的实验。数据集包含12032个问题，每个问题最多有99个采样完成。每个数据行包含问题ID、问题文本、答案选项、黄金答案文本、黄金答案索引、类别标签、源分割元数据、用于评分的提示、所有采样的完成列表、与所有完成对齐的标记级对数概率序列、原始自一致性数据集中的最终答案字段以及成功重新评分的完成数量。数据集是通过对每个存储的完成重新评分以获得标记级对数概率而创建的，适用于事后基于置信度的方法，而无需重复原始采样运行。