vlsp-2023-vllm/ViLLM-Eval

# ViLLM-Eval

We utilize the lm-eval-harness library to conduct evaluations.
This library allows us to efficiently evaluate language models, ensuring robustness and accuracy in our assessments.
Feel free to explore our project and discover the capabilities of the language models we employ.

## Install

```bash
git clone https://huggingface.co/datasets/vlsp-2023-vllm/ViLLM-Eval
cd ViLLM-Eval
pip install -e .
```

## Basic Usage

```bash
# Add trust_remote_code=True if your model is a custom model
MODEL_ID=pretrained=vinai/PhoGPT-4B-Chat,trust_remote_code=True

# Add load_in_4bit=True or load_in_8bit=True if you want to run in INT4/INT8 mode, note that it will reduce evaluation effectiveness
MODEL_ID=pretrained=vinai/PhoGPT-4B-Chat,load_in_4bit=True
```

### LAMBADA_vi

```bash
MODEL_ID=vlsp-2023-vllm/hoa-1b4 # replace your HF model here

python main.py \
--model hf-causal \
--model_args pretrained=$MODEL_ID \
--tasks lambada_vi \
--device cuda:0
```

### Exam_vi

```bash
MODEL_ID=vlsp-2023-vllm/hoa-1b4 # replace your HF model here

python main.py \
--model hf-causal \
--model_args pretrained=$MODEL_ID \
--tasks exams_dialy_vi,exams_hoahoc_vi,exams_lichsu_vi,exams_sinhhoc_vi,exams_toan_vi,exams_vatly_vi,exams_van_vi \
--num_fewshot 5 \
--device cuda:0
```

### GKQA

```bash
MODEL_ID=vlsp-2023-vllm/hoa-1b4 # replace your HF model here

python main.py \
--model hf-causal \
--model_args pretrained=$MODEL_ID \
--tasks wikipediaqa_vi \
--num_fewshot 5 \
--device cuda:0
```

### ComprehensionQA

```bash
MODEL_ID=vlsp-2023-vllm/hoa-1b4 # replace your HF model here

python main.py \
--model hf-causal \
--model_args pretrained=$MODEL_ID \
--tasks comprehension_vi \
--device cuda:0
```

## Cite as

```
@misc{nguyen2024villmeval,
title={ViLLM-Eval: A Comprehensive Evaluation Suite for Vietnamese Large Language Models},
author={Trong-Hieu Nguyen and Anh-Cuong Le and Viet-Cuong Nguyen},
year={2024},
eprint={2404.11086},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
```

```
@software{eval-harness,
author = {Gao, Leo and
Tow, Jonathan and
Biderman, Stella and
Black, Sid and
DiPofi, Anthony and
Foster, Charles and
Golding, Laurence and
Hsu, Jeffrey and
McDonell, Kyle and
Muennighoff, Niklas and
Phang, Jason and
Reynolds, Laria and
Tang, Eric and
Thite, Anish and
Wang, Ben and
Wang, Kevin and
Zou, Andy},
title = {A framework for few-shot language model evaluation},
month = sep,
year = 2021,
publisher = {Zenodo},
version = {v0.0.1},
doi = {10.5281/zenodo.5371628},
url = {https://doi.org/10.5281/zenodo.5371628}
}
```

# ViLLM-Eval

我们采用lm-eval-harness库开展语言模型评测工作。该库可实现语言模型的高效评估，保障评测过程的稳健性与评估结果的准确性。欢迎探索本项目，深入了解我们所采用的语言模型的各项能力。

## 安装

通过Git克隆该数据集仓库，进入项目目录后以可编辑模式安装依赖：
bash
git clone https://huggingface.co/datasets/vlsp-2023-vllm/ViLLM-Eval
cd ViLLM-Eval
pip install -e .

## 基础用法

bash
# 若您的模型为自定义模型，请添加 trust_remote_code=True 参数
MODEL_ID=pretrained=vinai/PhoGPT-4B-Chat,trust_remote_code=True

# 若需以INT4/INT8量化模式运行，可添加 load_in_4bit=True 或 load_in_8bit=True，请注意该操作会降低评估效果
MODEL_ID=pretrained=vinai/PhoGPT-4B-Chat,load_in_4bit=True

### LAMBADA_vi（越南语LAMBADA任务）

bash
MODEL_ID=vlsp-2023-vllm/hoa-1b4 # 替换为您的 Hugging Face 模型标识符

python main.py
--model hf-causal
--model_args pretrained=$MODEL_ID
--tasks lambada_vi
--device cuda:0

### Exam_vi（越南语考试评测任务）

bash
MODEL_ID=vlsp-2023-vllm/hoa-1b4 # 替换为您的 Hugging Face 模型标识符

python main.py
--model hf-causal
--model_args pretrained=$MODEL_ID
--tasks exams_dialy_vi,exams_hoahoc_vi,exams_lichsu_vi,exams_sinhhoc_vi,exams_toan_vi,exams_vatly_vi,exams_van_vi
--num_fewshot 5
--device cuda:0

### GKQA（通用知识问答评测）

bash
MODEL_ID=vlsp-2023-vllm/hoa-1b4 # 替换为您的 Hugging Face 模型标识符

python main.py
--model hf-causal
--model_args pretrained=$MODEL_ID
--tasks wikipediaqa_vi
--num_fewshot 5
--device cuda:0

### ComprehensionQA（越南语阅读理解问答任务）

bash
MODEL_ID=vlsp-2023-vllm/hoa-1b4 # 替换为您的 Hugging Face 模型标识符

python main.py
--model hf-causal
--model_args pretrained=$MODEL_ID
--tasks comprehension_vi
--device cuda:0

## 引用格式

@misc{nguyen2024villmeval,
title={ViLLM-Eval: A Comprehensive Evaluation Suite for Vietnamese Large Language Models},
author={Trong-Hieu Nguyen and Anh-Cuong Le and Viet-Cuong Nguyen},
year={2024},
eprint={2404.11086},
archivePrefix={arXiv},
primaryClass={cs.CL}
}

@software{eval-harness,
author = {Gao, Leo and
Tow, Jonathan and
Biderman, Stella and
Black, Sid and
DiPofi, Anthony and
Foster, Charles and
Golding, Laurence and
Hsu, Jeffrey and
McDonell, Kyle and
Muennighoff, Niklas and
Phang, Jason and
Reynolds, Laria and
Tang, Eric and
Thite, Anish and
Wang, Ben and
Wang, Kevin and
Zou, Andy},
title = {A framework for few-shot language model evaluation},
month = sep,
year = 2021,
publisher = {Zenodo},
version = {v0.0.1},
doi = {10.5281/zenodo.5371628},
url = {https://doi.org/10.5281/zenodo.5371628}
}

原始信息汇总

ViLLM-Eval 数据集概述

数据集安装与使用

安装步骤

• 通过 Git 克隆数据集仓库：git clone https://huggingface.co/datasets/vlsp-2023-vllm/ViLLM-Eval
• 进入数据集目录并安装：cd ViLLM-Eval 和 pip install -e .

基本使用

• 使用预训练模型 vinai/PhoGPT-4B-Chat 时，需设置 trust_remote_code=True。
• 若选择 INT4/INT8 模式，需添加 load_in_4bit=True 或 load_in_8bit=True，但会降低评估效果。

数据集任务

LAMBADA_vi

• 使用模型 hf-causal，设置模型参数为 pretrained=$MODEL_ID，任务为 lambada_vi，设备为 cuda:0。

Exam_vi

• 包含多个子任务：exams_dialy_vi, exams_hoahoc_vi, exams_lichsu_vi, exams_sinhhoc_vi, exams_toan_vi, exams_vatly_vi, exams_van_vi，设置 num_fewshot=5，设备为 cuda:0。

GKQA

• 任务为 wikipediaqa_vi，设置 num_fewshot=5，设备为 cuda:0。

ComprehensionQA

• 任务为 comprehension_vi，设备为 cuda:0。

引用信息

• 数据集引用格式：

  @misc{nguyen2024villmeval, title={ViLLM-Eval: A Comprehensive Evaluation Suite for Vietnamese Large Language Models}, author={Trong-Hieu Nguyen and Anh-Cuong Le and Viet-Cuong Nguyen}, year={2024}, eprint={2404.11086}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

在越南语自然语言处理领域，大语言模型的评估基准至关重要。ViLLM-Eval数据集依托于lm-eval-harness评估框架构建，通过集成多种越南语任务，形成了一套系统化的评估体系。该数据集涵盖了LAMBADA_vi、Exam_vi、GKQA和ComprehensionQA等子任务，分别针对语言建模、学科知识问答、常识推理和阅读理解能力进行测试。每个子任务均采用标准化的提示模板和评估指标，确保评测过程的一致性与可复现性。

特点

ViLLM-Eval数据集的核心特点在于其全面性和针对性。它专门为越南语大语言模型设计，覆盖了从基础语言理解到复杂知识推理的多维度能力评估。数据集包含多个子任务，如越南语高考科目试题、维基百科知识问答及文本阅读理解，能够有效衡量模型在不同场景下的表现。此外，该数据集支持少样本评估设置，允许用户灵活调整示例数量，以探索模型的泛化能力。

使用方法

使用ViLLM-Eval数据集进行模型评估时，需先通过git clone命令下载并安装相关依赖。评估过程通过main.py脚本执行，用户需指定模型标识符（MODEL_ID）并选择相应的任务名称。例如，评估语言建模能力可运行lambada_vi任务，而评测学科知识则需指定exams_dialy_vi等多个子任务。支持INT4/INT8量化模式以降低显存占用，但需注意这可能会影响评估效果。所有评估均基于cuda设备进行加速计算。

背景与挑战

背景概述

在自然语言处理领域，大型语言模型的快速发展催生了对其能力进行系统性评估的迫切需求，尤其是针对低资源语言如越南语的专用评测体系仍属空白。ViLLM-Eval数据集由Nguyen等人于2024年创建，隶属于VLSP 2023项目，主要研究机构包括越南相关学术团队。该数据集的核心研究问题在于构建一个涵盖多维度语言理解能力的评测套件，以填补越南语大模型评估的缺失。通过整合LAMBADA、考试问答、常识问答和阅读理解等任务，ViLLM-Eval为越南语模型的语义理解、知识推理和上下文把握提供了标准化测试平台，其影响力体现在推动了低资源语言评估体系的完善，并为后续研究提供了可复现的基准。

当前挑战

ViLLM-Eval面临的核心挑战包括：首先，越南语作为低资源语言，其语料库规模有限且标注资源稀缺，导致模型在语义理解任务中难以获得充分的训练支持，例如LAMBADA_vi任务对词汇预测的准确性受限于语言特异性表达。其次，构建过程中需解决任务多样性与评估一致性之间的矛盾，如考试问答涵盖多学科领域，需确保不同主题题目难度均衡且避免文化偏见。此外，模型在INT4/INT8量化模式下运行会降低评估效果，如何在保持推理效率的同时维持测试的鲁棒性成为技术难点。最后，评估套件的可扩展性要求持续适配新兴模型架构，这对数据集的动态维护提出了挑战。

常用场景

经典使用场景

ViLLM-Eval作为面向越南语大语言模型的综合性评估套件，其经典使用场景在于系统性地衡量模型在多项语言理解与生成任务上的表现。该数据集整合了LAMBADA_vi（词汇预测）、Exam_vi（多学科考试）、GKQA（常识问答）和ComprehensionQA（阅读理解）等子集，覆盖了从词汇级到篇章级的认知能力评估。研究者可通过标准化接口调用lm-eval-harness库，实现对不同规模越南语模型的零样本或少样本性能测试，从而揭示模型在语义推理、知识检索和上下文理解等方面的优势与局限。这一框架为越南语自然语言处理领域提供了可复现、可比较的基准测试平台，促进了模型优化方向的明确化。

解决学术问题

该数据集从学术层面解决了越南语大语言模型缺乏统一、多维度评估标准的痛点。在以往研究中，越南语模型的性能往往依赖零散的自定义测试集或机器翻译后的英文基准，导致结果可比性差、偏差显著。ViLLM-Eval通过构建涵盖语言建模、学科知识、开放域问答和文本理解的本土化评测任务，系统性地回应了“如何客观衡量越南语模型的真实能力”这一核心问题。其意义在于推动了低资源语言评估范式的规范化，使研究者能够精准定位模型在特定任务上的差距，进而针对性地改进预训练策略、数据增强方法或推理机制，为越南语自然语言处理的理论发展筑牢实证基础。

衍生相关工作

ViLLM-Eval的提出催生了一系列衍生工作，其中最直接的是基于其评测框架的越南语模型优化研究。例如，研究者利用该数据集的反馈，针对PhoGPT-4B-Chat等模型在LAMBADA_vi任务上的不足，开发了专项的词汇级数据增强策略。此外，该数据集还启发了多语言评估的扩展工作，部分团队将其任务设计思路迁移至泰语、印尼语等邻近语言，构建了跨语种的评测体系。在学术文献中，ViLLM-Eval常被引用于对比不同量化方法（如INT4/INT8）对越南语模型性能的影响，以及分析少样本学习在低资源场景下的有效性。这些后续研究共同推动了东南亚语言大语言模型评估从粗放走向精细，巩固了ViLLM-Eval作为领域基准的地位。