vimqa-generated-answers-pass1
收藏资源简介：
Vi-MQA - Pass 1 Generated Answers & Evaluation 数据集是 VMLU 基准测试套件中 Vi-MQA 数据集的一部分，专门包含其第一轮（Pass 1）的模型生成答案与评估结果。该数据集总共有 4,762 条记录，语言为越南语，主要面向问答和多项选择任务。数据集内容由两部分构成：一是三个大型语言模型（Gemma 4 31B IT、Llama 4 Scout 和 Qwen3 32B）在 Pass 1 阶段对 Vi-MQA 问题生成的格式化答案；二是基于这三个模型答案一致性进行的自动评估结果。评估结果根据模型间共识程度被划分为三个子集：一致集（1,152个样本，所有三个模型给出了完全相同的答案，置信度高）、多数集（381个样本，其中两个模型答案一致，可靠性良好）以及冲突集（46个样本，三个模型未达成共识，需要进入第二轮或人工审核）。该数据集适用于评估和比较不同模型在越南语多项选择题上的性能、答案一致性分析以及作为后续人工标注或模型迭代的基准数据。
The Vi-MQA - Pass 1 Generated Answers & Evaluation dataset is part of the Vi-MQA dataset within the VMLU benchmark suite, specifically containing model-generated answers and evaluation results from its first round (Pass 1). The dataset consists of 4,762 records in Vietnamese, primarily targeting question-answering and multiple-choice tasks. It comprises two components: formatted answers generated by three large language models (Gemma 4 31B IT, Llama 4 Scout, and Qwen3 32B) during the Pass 1 stage for Vi-MQA questions, and automatic evaluation results based on the consistency of these model answers. The evaluation results are divided into three subsets based on the degree of consensus among models: consistent set (1,152 samples where all three models provided identical answers, with high confidence), majority set (381 samples where two models agreed, with good reliability), and conflict set (46 samples where the three models did not reach consensus, requiring a second round or manual review). This dataset is suitable for evaluating and comparing the performance of different models on Vietnamese multiple-choice questions, analyzing answer consistency, and serving as benchmark data for subsequent manual annotation or model iteration.
数据集概述
Vi-MQA - Pass 1 Generated Answers & Evaluation 数据集是 VMLU 基准套件中 Vi-MQA 数据集的第一轮生成答案与评估结果，总计包含 4,762 条记录。
语言与任务
- 语言：越南语（vi）
- 任务类别：问答（question-answering）、多项选择（multiple-choice）
- 许可协议：其他许可（other）
数据集规模
- 记录数量在 1k 到 10k 之间。
配置与数据文件
| 配置名称 | 数据文件 | 说明 |
|---|---|---|
| agree_set | evaluation_results/agree.jsonl |
1,152 条样本，3 个模型输出完全一致，高置信度 |
| majority_set | evaluation_results/majority.jsonl |
381 条样本，3 个模型中 2 个一致，可靠性良好 |
| conflict_set | evaluation_results/conflict.jsonl |
46 条样本，3 个模型无一致意见，需进行第二轮与人工审核 |
| gemma_output | raw_outputs/results_pass1_gemma.jsonl（测试集） |
Gemma 4 31B IT 模型的格式化输出 |
| llama_output | raw_outputs/results_pass1_llama.jsonl（测试集） |
Llama 4 Scout 模型的格式化输出 |
| qwen_output | raw_outputs/results_pass1_qwen.jsonl（测试集） |
Qwen3 32B 模型的格式化输出 |
文件夹结构
- raw_outputs/：存放 3 个模型（Gemma 4 31B IT、Llama 4 Scout、Qwen3 32B）在 Pass 1 中的格式化输出结果。
- evaluation_results/：存放 3 个模型输出之间的评估比较结果（agree、majority、conflict）。
相关脚本
evaluate.py：用于计算模型间一致集、多数集和冲突集的评估脚本。
