aham225/isllmevaldata00001

# Islamic Literature Multiple Choice Task

## Dataset Description
This dataset for the "isllm" task contains multiple-choice questions on topics related to Islamic literature. Each record includes a question (`query`), a list of choices (`choices`), and the correct answer (`label`).

## Task Description
The task evaluates a model's ability to select the correct answer from a set of choices given a question related to Islamic literature. The evaluation metrics include accuracy and normalized accuracy to assess performance.

## Metrics
- **Accuracy (acc)**: Measures the proportion of questions for which the model selected the correct answer.
- **Normalized Accuracy (acc_norm)**: A variation of accuracy that might include normalization based on question difficulty or other factors.

## Version
1.0

# 伊斯兰文学多选题任务

## 数据集描述
该数据集用于“isllm”任务，包含与伊斯兰文学相关主题的多选题。每条记录包含一个问题（query）、一个选项列表（choices）以及正确答案（label）。

## 任务描述
该任务评估模型在给定伊斯兰文学相关问题时，从选项集中选择正确答案的能力。评估指标包括准确率（Accuracy）和归一化准确率（Normalized Accuracy），用于衡量模型性能。

## 指标
- **准确率（Accuracy，acc）**：衡量模型回答正确的问题占总问题数的比例。
- **归一化准确率（Normalized Accuracy，acc_norm）**：准确率的一种变体，可能基于问题难度或其他因素进行归一化处理。

## 版本
1.0

原始信息汇总

Islamic Literature Multiple Choice Task

数据集描述

该数据集包含与伊斯兰文学相关的多项选择题。每个记录包括一个问题（query）、一组选项（choices）和正确答案（label）。

任务描述

此任务评估模型从给定与伊斯兰文学相关的问题的一组选项中选择正确答案的能力。评估指标包括准确率和标准化准确率。

指标

• 准确率（acc）: 衡量模型选择正确答案的问题比例。
• 标准化准确率（acc_norm）: 可能是基于问题难度或其他因素进行标准化的准确率变体。

版本

1.0