BatsResearch/NusaX-senti-LexC-Gen

LexC-Gen数据集是为低资源语言生成的情感分析数据集，使用了大型语言模型（BLOOMZ-7.1B）和双语词典（Gatitos）进行生成。数据集支持多种低资源语言，如Acehnese、Balinese等，并包含训练集和验证集。数据集的每个实例包含id、text和label三个字段，label表示情感分类的标签（0：负面，1：中性，2：正面）。数据集的主要用途是用于文本分类和情感分类任务。

原始信息汇总

数据集概述

数据集描述

数据集摘要

LexC-Gen 数据集是为 NusaX 情感分析任务生成的数据集，适用于低资源语言。该数据集使用大型语言模型（如 BLOOMZ-7.1B）和双语词典（如 Gatitos 双语词典）生成。

支持的任务和排行榜

• text-classification, sentiment-classification: 该数据集可用于训练情感分类模型，模型性能基于预测标签与给定标签的准确性进行评估。

语言

数据集涵盖以下七种极低资源语言：

• Acehnese (ace)
• Balinese (ban)
• Toba batak (bbc)
• Buginese (bug)
• Banjarese (bjn)
• Madurese (mad)
• Minangkabau (min)

数据集结构

数据实例

每个数据实例包含以下特征：id、text 和 label。label 有三个可能的值：0、1、2，分别对应 negative、neutral 和 positive。

数据字段

• id: 唯一标识符
• text: 从大型语言模型生成的文本
• label: 一个整数，值为 0、1 或 2，分别表示 negative、neutral 和 positive。

数据分割

LexC-Gen 数据集需要配置名称，格式为 {lang}_{size}，其中 lang 是语言代码，size 是 LexC-Gen 数据集的大小，取值为 1k、10k 或 100k。

数据集包含两个分割：train 和 validation。train 分割是生成的 LexC-Gen 任务训练数据，validation 分割是经过单词翻译的 NusaX 验证数据。

数据集创建

策划理由

极低资源语言几乎没有标记数据。我们探索使用高资源语言任务数据、大型语言模型和双语词典大规模生成这些语言的数据，以克服数据瓶颈。

我们将数据集上传到 Huggingface，作为我们研究的一个成果，并确保我们论文结果的可重复性。

使用数据的注意事项

我们的数据集是通过大型语言模型在英语中生成的合成数据集，然后通过双语词典进行单词到单词的翻译。由于翻译不完美，可能包含英语单词，并且使用英语语法结构（如 SVO 词序），这不一定代表低资源语言的语法。

附加信息

数据集策展人

LexC-Gen 合成数据集由 Zheng-Xin Yong 创建。

许可信息

我们的数据集是从 BLOOMZ 模型生成的，该模型使用 BigScience RAIL License v1.0。因此，在 LexC-Gen 数据集上微调的分类器将适用 RAIL 许可证。

引用信息

@misc{yong2024lexcgen, title={LexC-Gen: Generating Data for Extremely Low-Resource Languages with Large Language Models and Bilingual Lexicons}, author={Zheng-Xin Yong and Cristina Menghini and Stephen H. Bach}, year={2024}, eprint={2402.14086}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，低资源语言的标注数据匮乏是制约模型性能的关键瓶颈。为突破这一困境，LexC-Gen数据集应运而生，其构建方式别具匠心：首先利用大型语言模型BLOOMZ-7.1B基于高资源语言的任务数据生成英文文本，随后借助Gatitos双语词典，通过逐词翻译将英文文本转换为七种极度低资源语言——亚齐语、巴厘语、多巴巴塔克语、布吉语、班查语、马都拉语和米南加保语。最终，经过输入-标签一致性过滤，形成规模为1k、10k和100k的多个配置，每个配置均包含训练集和验证集，验证集源自NusaX原始数据并经词汇翻译处理。

特点

该数据集最显著的特点在于其合成性质与多语言覆盖的深度。作为完全由模型生成的合成数据，它巧妙规避了人工标注的高昂成本，同时通过双语词典的逐词翻译机制，成功将情感分类任务拓展至七种极度低资源语言，弥合了数据鸿沟。然而，由于翻译的局限性，数据中可能残留英语词汇，且句法结构倾向于英语的主谓宾语序，未必完全反映目标语言的真实语法特征。此外，数据集提供多种规模配置，便于研究者根据资源条件灵活选择，兼顾了可扩展性与实用性。

使用方法

使用该数据集进行情感分类任务时，研究者可通过HuggingFace的datasets库便捷加载。加载时需指定配置名称，格式为{语言代码}_{规模}，例如'ace_100k'代表亚齐语的十万规模版本。数据集包含id、text和label三个字段，其中label为整数0、1或2，分别对应负面、中性和正面情感。训练集用于模型微调，验证集则用于性能评估。需要注意的是，由于数据为合成性质，模型在真实低资源语言场景中的泛化能力需谨慎验证，建议结合少量人工标注数据进行校准。

背景与挑战

背景概述

在自然语言处理领域，情感分类任务虽已取得显著进展，但极度低资源语言因缺乏标注数据而长期处于研究盲区。NusaX-senti-LexC-Gen数据集由布朗大学郑新勇（Zheng-Xin Yong）等人于2024年创建，旨在突破这一瓶颈。该数据集基于NusaX情感分析任务，针对亚齐语、巴厘语、多巴巴塔克语、布吉语、班贾尔语、马都拉语和米南加保语等七种印尼极度低资源语言，创新性地结合大语言模型BLOOMZ-7.1B与Gatitos双语词典，通过跨语言生成与逐词翻译技术，合成大规模情感分类训练数据。其研究核心在于验证“利用高资源语言任务数据、大语言模型和双语词典”这一范式能否有效解决低资源场景下的数据匮乏问题，为相关领域提供了可复现的基准数据集与生成方法论。

当前挑战

该数据集所面对的挑战根植于极度低资源语言的固有困境。其一，领域问题层面，情感分类标注数据近乎不存在，传统人工标注成本高昂且难以规模化，而直接迁移高资源语言模型因语法结构（如SVO语序）与词汇差异，导致性能显著退化。其二，构建过程中，合成数据需克服翻译不完整性——逐词翻译常遗留未转换的英语词汇，且生成的文本可能偏离目标语言的句法习惯，造成语义偏差；同时，大语言模型生成的原始内容需经输入-标签一致性过滤，而不同规模配置（1k至100k）的样本量与质量平衡亦是技术难点，直接影响下游分类器的泛化能力与鲁棒性。

常用场景

经典使用场景

在自然语言处理领域，低资源语言的情感分析任务长期受限于标注数据的匮乏。NusaX-senti-LexC-Gen数据集专为此类困境而生，其经典使用场景在于利用大规模语言模型（如BLOOMZ-7.1B）与双语词典（Gatitos）的协同作用，为七种极度低资源的印度尼西亚语族语言——包括亚齐语、巴厘语、托巴巴塔克语等——生成大规模合成情感标注数据。研究者可依据不同语言和规模配置（如ace_100k或ban_10k）加载数据，训练情感分类模型，从而突破数据瓶颈，实现对低资源语言文本情感倾向（积极、中性、消极）的自动判别。

实际应用

在实际应用中，NusaX-senti-LexC-Gen数据集可赋能面向东南亚地区的社交媒体舆情监测、用户评论分析及公共意见挖掘系统。例如，在印尼本土电商平台中，对使用亚齐语或米南佳保语撰写的商品评价进行自动情感分类，帮助企业实时了解消费者态度。此外，该数据集还可用于构建多语言客服机器人，使其能够理解并回应以低资源语言表达的投诉或赞誉，从而提升区域化服务的覆盖精度与用户体验。

衍生相关工作

该数据集衍生的经典工作包括Yong等人提出的LexC-Gen生成框架（arXiv:2402.14086），其核心贡献在于将英语情感数据通过大语言模型生成后，利用双语词典逐词翻译至目标低资源语言，从而合成训练样本。这一方法启发了后续研究，如探索更高质量的跨语言词典对齐策略、结合语言模型进行句法结构适配，以及评估合成数据对下游模型鲁棒性的影响。此外，该数据集作为NusaX情感分析任务的扩展资源，常被引用于低资源多语言情感分类的对比实验中。