SEACrowd/brcc

Bahasa Rojak Crawled Corpus (BRCC) 是一个用于马来西亚Bahasa Rojak方言的代码混合数据集。该数据集通过使用改进的CoSDA-ML方法从英语和马来语维基百科页面生成段落，并由两位母语为马来语的评估者评估生成段落的质量。数据集支持自监督预训练任务，并提供了使用`datasets`和`seacrowd`库加载数据集的示例代码。数据集的语言包括zlm、eng和cmn。

The Bahasa Rojak Crawled Corpus (BRCC) is a code-mixed dataset for the Bahasa Rojak dialect in Malaysia. Passages are generated through data augmentation from English and Malay Wikipedia pages using a modified CoSDA-ML method. The quality of generated passages is evaluated by two native Malay speakers. The dataset supports self-supervised pretraining tasks and provides example code for loading the dataset using the `datasets` and `seacrowd` libraries. The languages included in the dataset are zlm, eng, and cmn.

原始信息汇总

Bahasa Rojak Crawled Corpus (BRCC)

概述

• 名称: Bahasa Rojak Crawled Corpus (BRCC)
• 描述: 这是一个用于马来西亚Bahasa Rojak方言的代码混合数据集。数据通过修改的CoSDA-ML方法从英语和马来语维基百科页面进行数据增强生成。生成的段落由两名母语为马来语的人士进行质量评估。

语言

• zlm
• eng
• cmn

支持的任务

• 自监督预训练

数据集版本

• 源版本: 1.0.0
• SEACrowd版本: 2024.06.20

数据集许可证

• 未知

引用

• 如果使用Brcc数据加载器，请引用以下内容：

@inproceedings{romadhona-etal-2022-brcc, author = {Romadhona, Nanda Putri and Lu, Sin-En and Lu, Bo-Han and Tsai, Richard Tzong-Han}, title = {BRCC and SentiBahasaRojak: The First Bahasa Rojak Corpus for Pretraining and Sentiment Analysis Dataset}, booktitle = {Proceedings of the 29th International Conference on Computational Linguistics}, publisher = {International Committee on Computational Linguistics}, year = {2022}, url = {https://aclanthology.org/2022.coling-1.389/}, pages = {4418--4428}, }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，语码混合现象的研究日益受到关注，尤其是在多语言社会如马来西亚。Bahasa Rojak Crawled Corpus (BRCC) 正是为填补这一空白而构建，专注于马来西亚特有的Bahasa Rojak方言。该数据集的构建采用了一种创新的数据增强方法，基于改进的CoSDA-ML技术，从英语和马来语的维基百科页面中自动生成语码混合的文本段落。为确保生成内容的质量，特别邀请了两名以马来语为母语的评审员对生成的语料进行人工评估与筛选，从而保证了数据的自然性和准确性。

使用方法

研究人员可通过HuggingFace的datasets库便捷地加载BRCC数据集，只需执行一行代码即可完成初始化，例如使用`datasets.load_dataset("SEACrowd/brcc", trust_remote_code=True)`。此外，该数据集还集成了SEACrowd生态，用户可通过`seacrowd`库以标准化的schema格式加载，并利用`available_config_names`函数查看所有可用的子集配置。对于需要特定子集的应用场景，则可通过`load_dataset_by_config_name`指定配置名称进行精准调用，从而灵活适配不同的预训练或下游任务需求。

背景与挑战

背景概述

在自然语言处理领域，混合语码（code-mixed）语料库的匮乏长期制约着对多语混杂方言的建模研究。马来西亚的‘Bahasa Rojak’作为一种融合马来语、英语及华语等多种语言的独特方言，其语言结构的复杂性与数据稀缺性尤为突出。Brcc（Bahasa Rojak Crawled Corpus）数据集由Nanda Putri Romadhona、Sin-En Lu等研究人员于2022年提出，旨在填补这一空白。该数据集基于改进的CoSDA-ML方法，通过数据增强技术从英语和马来语维基百科页面生成混合语码文本，并由两位马来语母语者评估质量，最终构建了首个针对Bahasa Rojak的自监督预训练语料库。Brcc的发布为东南亚低资源语言处理提供了关键资源，推动了多语言与混合语码研究的进展。

当前挑战

Brcc数据集面临的核心挑战在于其构建与应用的复杂性。首先，领域问题层面，Bahasa Rojak作为非标准混合方言，缺乏统一的语法规则与标注规范，传统单语预训练模型难以有效捕捉其词汇与句法的混杂特征，这要求模型具备跨语言对齐与适应性学习能力。其次，构建过程中，数据增强方法虽能生成大量文本，但如何确保生成内容在语言真实性与多样性间的平衡是一大难题；同时，依赖人工评估质量控制，受限于标注者数量（仅两位母语者）与主观判断差异，可能引入偏差。此外，数据集规模有限且许可证未知，限制了其广泛使用与后续扩展，亟需更系统的数据收集与开放共享机制以应对东南亚语言生态的多样性需求。

常用场景

经典使用场景

Bahasa Rojak Crawled Corpus（BRCC）作为首个面向马来西亚混合语方言“Bahasa Rojak”的语料库，其经典使用场景在于为自监督预训练提供高质量、大规模的多语言混合文本数据。该数据集通过改进的CoSDA-ML方法，从英语和马来语维基百科中经由数据增强生成语码混合段落，并由母语者进行质量审核，从而为预训练语言模型在低资源、高变异性语言场景下的表征学习奠定了坚实基础。研究者可借助BRCC训练能理解与生成混合语码的神经语言模型，进而推动东南亚多语言自然语言处理技术的进步。

解决学术问题

BRCC数据集有效解决了学术研究中语码混合语料匮乏的核心瓶颈。在自然语言处理领域，主流模型多聚焦于单一标准语言，而对马来西亚社会广泛使用的“Bahasa Rojak”这类融合马来语、英语和汉语方言的混合语码关注不足。该数据集的提出，使得研究者能够探索预训练阶段引入混合语码对模型跨语言泛化能力的影响，并验证数据增强策略在低资源语言混合场景中的有效性。其意义在于填补了东南亚语码混合预训练数据的空白，为后续构建更具包容性的多语言模型提供了关键资源。

实际应用

在实际应用层面，BRCC数据集支撑了马来西亚及东南亚地区多语言社交媒体的智能分析系统开发。例如，面向混合语码的情感分析、话题检测与用户意图识别等任务，均可基于BRCC预训练的模型实现更精准的语义理解。此外，该数据集还能赋能跨语言客服机器人、多语种内容审核工具及教育领域的语言学习辅助系统，帮助机器在真实对话场景中适应语言混杂的交流习惯，从而提升人机交互的自然度与用户体验。

数据集最近研究

最新研究方向

在东南亚语言处理领域，语码混合现象因其复杂性和普遍性成为前沿研究焦点。BRCC作为首个面向马来西亚“罗惹语”方言的语码混合语料库，通过改进的CoSDA-ML方法从英语和马来语维基百科中增强生成，填补了该方言在自监督预训练资源上的空白。当前研究热点集中于利用此类高质量语码混合数据提升多语言模型对非标准语言变体的理解能力，例如在情感分析、方言翻译等任务中探索预训练策略的迁移效果。BRCC的出现不仅为低资源方言的深度学习研究提供了基准，还推动了东南亚多语言数据生态的构建，其与SEACrowd数据枢纽的整合进一步促进了区域语言技术的标准化与可复现性，对维护语言多样性具有深远意义。