SEACrowd/vigetext

Vigetext是一个高质量的数据集，专门用于数学、物理、化学和生物科目中LaTeX公式的输入。该数据集的目标是覆盖2017年至2023年越南普通教育考试的全部范围，特别是2017年和2018年的考试内容。数据集的正确答案来自越南教育部。数据集支持越南语，主要用于问答任务。

Vigetext is a high-quality dataset with structured guidelines for typing LaTeX formulas in Mathematics, Physics, Chemistry, and Biology. The objective was to cover the entire scope of the Vietnamese General Education Examination spanning from 2017 to 2023, particularly the challenging examinations of the years 2017 and 2018. The exact and unquestionably correct answers have been exclusively obtained from the Vietnamese Ministry of Education. The dataset supports Vietnamese and is primarily used for question-answering tasks.

原始信息汇总

Vigetext 数据集概述

基本信息

• 名称: Vigetext
• 语言: 越南语 (vie)
• 任务类别: 问答 (Question Answering)
• 标签: 问答 (Question Answering)

数据集描述

• 内容: 该数据集包含数学、物理、化学和生物学领域的LaTeX公式输入的结构化指南。
• 覆盖范围: 涵盖2017年至2023年越南普通教育考试的全部范围。
• 答案来源: 答案由越南教育部提供，确保准确无误。

使用方法

使用 datasets 库

python from datasets import load_dataset dset = datasets.load_dataset("SEACrowd/vigetext", trust_remote_code=True)

使用 seacrowd 库

python import seacrowd as sc

使用默认配置加载数据集

dset = sc.load_dataset("vigetext", schema="seacrowd")

查看数据集的所有可用子集（配置名称）

print(sc.available_config_names("vigetext"))

使用特定配置加载数据集

dset = sc.load_dataset_by_config_name(config_name="<config_name>")

数据集版本

• 源版本: 1.0.0
• SEACrowd 版本: 2024.06.20

数据集许可证

• 许可证: 未知 (Unknown)

引用

bibtex @inproceedings{10.1145/3628797.3628837, author = {Nguyen, Duc-Vu and Nguyen, Quoc-Nam}, title = {Evaluating the Symbol Binding Ability of Large Language Models for Multiple-Choice Questions in Vietnamese General Education}, year = {2023}, isbn = {9798400708916}, publisher = {Association for Computing Machinery}, address = {New York, NY, USA}, url = {https://doi.org/10.1145/3628797.3628837}, doi = {10.1145/3628797.3628837}, booktitle = {Proceedings of the 12th International Symposium on Information and Communication Technology}, pages = {379–386}, numpages = {8}, keywords = {Analysis of Language Models, Multiple Choice Symbol Binding, Multiple Choice Question Answering, Language Modeling}, location = {<conf-loc>, <city>Ho Chi Minh</city>, <country>Vietnam</country>, </conf-loc>}, series = {SOICT 23} }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

在越南教育评估的背景下，Vigetext数据集通过系统化方法构建，覆盖了2017年至2023年越南普通教育考试的全部范围。数据来源于越南教育部的官方试题，确保了答案的准确性和权威性。构建过程中，特别纳入了2017年和2018年具有挑战性的考试内容，这些年份的试题对近年越南学生具有重要影响。数据集专注于数学、物理、化学和生物学科，采用结构化指南来规范LaTeX公式的输入，从而提升了数据的标准化程度。

使用方法

使用Vigetext数据集时，研究人员可通过`datasets`库或`seacrowd`库进行加载。通过调用`load_dataset`函数并指定数据集名称，即可获取结构化数据。`seacrowd`库提供了多种配置选项，用户可查看可用子集并根据需要选择特定配置进行加载。数据集适用于问答任务，可用于训练和评估语言模型在越南语多选题上的表现。具体操作细节可参考SEACrowd数据中心的文档，确保数据加载的便捷性和准确性。

背景与挑战

背景概述

Vigetext数据集由越南研究人员于2023年构建，旨在为数学、物理、化学和生物学科提供高质量的LaTeX公式输入结构化指南。该数据集覆盖了2017年至2023年越南普通教育考试的全部范围，特别纳入了2017年和2018年具有挑战性的试题，这些试题对近年来的越南学生具有重要影响。数据集的答案来源于越南教育部的官方权威资料，确保了内容的准确性和可靠性。该数据集的创建不仅支持了越南语自然语言处理中问答任务的研究，还为评估大型语言模型在越南语多选问题中的符号绑定能力提供了重要基准，推动了东南亚语言处理领域的发展。

当前挑战

Vigetext数据集所解决的领域问题是越南语多选问答任务，其核心挑战在于处理复杂学科中的符号绑定与语义理解，特别是在数学、物理等学科中，模型需准确解析LaTeX公式与自然语言文本的关联。在构建过程中，数据集面临的主要挑战包括：整合跨年度考试内容的全面性与一致性，确保从越南教育部获取的答案精确无误，以及处理多学科领域内专业术语和公式的结构化标注。这些挑战要求数据集在保持高质量的同时，具备广泛的覆盖范围和严格的验证机制。

常用场景

经典使用场景

在自然语言处理领域，多模态与多语言任务日益受到关注，Vigetext数据集以其高质量的结构化标注，为越南语教育场景下的符号绑定能力评估提供了经典范例。该数据集聚焦于数学、物理、化学和生物学科的LaTeX公式输入，覆盖了2017年至2023年越南普通教育考试的全部范围，尤其包含了2017年和2018年具有挑战性的试题，这些试题对近年来的越南学生具有普遍意义。研究者通常利用该数据集构建问答模型，以测试大型语言模型在处理越南语多学科选择题时的符号理解与推理能力，从而推动教育智能化的发展。

解决学术问题

Vigetext数据集主要解决了自然语言处理中符号绑定能力评估的学术难题，特别是在多语言环境下。传统模型在处理越南语等资源相对匮乏的语言时，往往面临符号与语义关联的挑战，该数据集通过提供精确且权威的答案标注，源自越南教育部的官方资料，为研究者提供了可靠的基准。它使得学术界能够系统分析语言模型在跨学科选择题中的表现，填补了东南亚语言教育数据集的空白，促进了多语言模型公平性及泛化能力的研究，对推动教育技术领域的理论创新具有深远影响。

实际应用

在实际应用中，Vigetext数据集被广泛用于开发智能教育辅助系统，特别是在越南的教育评估和在线学习平台中。基于该数据集训练的模型能够自动解答多学科选择题，帮助学生进行个性化复习和模拟考试，提升学习效率。同时，教育机构可利用这些模型进行大规模试题分析和教学质量监控，为课程设计提供数据支持。此外，该数据集还支持多语言聊天机器人和虚拟助手的开发，使其能够处理复杂的科学公式输入，增强用户体验，推动教育资源的数字化和普及化。

数据集最近研究

最新研究方向

在自然语言处理领域，针对东南亚语言的教育评估数据集正成为研究热点。Vigetext数据集聚焦于越南语数学、物理、化学和生物学科的多选题解答，其基于越南国家教育考试的真实题目构建，为评估大语言模型的符号绑定能力提供了重要基准。近期研究主要探索模型在跨学科复杂符号推理中的表现，特别是在处理LaTeX公式与自然语言混合输入时的准确性。该数据集推动了多语言教育智能系统的发展，为东南亚地区语言的技术公平性研究提供了关键数据支持，相关成果已在国际学术会议中受到关注。