appledora/DANGA-Adapted

DANGA-Adapted数据集是Bangla Dataset on Aggressive Narratives and Group-based Attacks (BanDANGA)的扩展版本，包含阿拉伯语、英语和中文的高质量翻译。该数据集旨在支持前沿大型语言模型（LLM）的跨语言安全评估，以及不同文化背景下相同暴力结构的比较研究。数据集由专家标注，采用细粒度的正交分类法，包含暴力、仇恨和严重冒犯性语言（孟加拉语），专门用于仇恨言论检测、内容审核和自然语言处理等研究目的。通过使用Adaption Lab的Blueprint功能，研究团队实现了对原始数据集的跨地区本地化改写，保留了暴力结构（身份轴、表达类型、修辞强度）的同时，针对不同地理政治区域（孟加拉国、印度、美国、中国）进行了适应性调整。DANGA-Adapted is an extension of the Bangla Dataset on Aggressive Narratives and Group-based Attacks (BanDANGA), featuring high-quality translations into Arabic, English, and Chinese. This multilingual dataset enables cross-lingual safety evaluation of frontier LLMs and comparative research on how identical rhetorical patterns of communal violence are recognized across different cultural contexts. Expert-annotated with a fine-grained orthogonal taxonomy, it contains violent, hateful, and severely offensive language in Bengali, intended solely for research purposes (hate speech detection, content moderation, NLP). Using Adaption Labs Blueprint feature, the team localized original Bengali hate speech patterns to different geopolitical regions (Bangladesh, India, USA, China) while preserving the violence structure (identity axis, expression type, rhetorical intensity).

搜集汇总

数据集介绍

构建方式

DANGA-Adapted数据集以原始BanDANGA语料库中12,720条孟加拉语社交媒体文本为基石，借助Adaption Lab的Blueprint特性，通过两阶段流水线构建而成。第一阶段采用Claude Haiku模型，基于原始文本与黄金标准标签生成结构化的英文解释；第二阶段利用Blueprint自定义指令，以极低成本（每100样本仅1积分）将解释与文本跨区域本地化为阿拉伯语、英语、汉语及孟加拉语变体，同时严格保持暴力标签、身份维度与表达类型的正交分类体系不变。在迭代过程中，研究团队经历了从复杂多步骤推理到分解为单纯翻译任务的范式转变，最终通过剥离上下文、分离指令与内容字段、建立显式约束规则，实现了稳定且高保真的多语言生成。

特点

该数据集的核心特质在于其跨语言暴力的结构同构性——同一套修辞暴力模式（如'你的群体威胁我们的存在，我们必须采取行动'）在孟加拉国针对印度教徒、在印度针对穆斯林、在美国针对犹太人、在中国针对维吾尔人时呈现出可映射的脆弱性结构。数据集保留了原始DANGA的4×4正交分类体系（4种身份维度与4种表达类型），包含完整的标注者分歧元数据与专家裁决信息。尤为珍贵的是，其本地化过程记录了一次系统性的失败探险：从最初的多步推理崩溃、少样本污染到上下文截断，这些失败本身构成了关于成本效率、可扩展性与可控性的深刻洞见，为低资源语言的安全评估提供了实践路径参考。

使用方法

研究人员可通过加载原始DANGA数据集并应用Blueprint本地化管道来复现多语言扩展流程。推荐采用分解式指令策略：将输入拆分为最小指令（CONTEXT）、纯文本（INPUT_TEXT）与解释（CONTINUATION）三个独立字段，明确复制规则（如'逐字节复制'而非模糊的'保持原样'），并严格避免在Blueprint中提供示例输出以防止记忆污染。对于推理密集型任务（如脆弱性映射与上下文敏感改写），建议采用独立模型分步处理而非单次Blueprint调用。最终输出为包含多个语言版本localized_text与explanation字段的结构化JSON，可服务于跨语言安全评估、文化语境差异性比较及大语言模型在不同语言中对相同暴力结构的检测行为研究。

背景与挑战

背景概述

DANGA-Adapted数据集诞生于孟加拉语（全球第七大语言，拥有逾2.3亿使用者）在大型语言模型安全研究中严重缺位的背景下。该数据集由Adaption Lab团队主导，依托Adaption公司的Blueprint功能，对原始DANGA数据集（包含12,720条专家标注的孟加拉语社交媒体暴力文本）进行多语言扩展与重构，于2024年作为Adaption竞赛的一部分公开发布。核心研究问题聚焦于如何将针对特定地域（孟加拉国）的宗派暴力模式，通过结构性脆弱性映射与修辞模式迁移，精准本地化至印度、美国、中国等四个地缘政治区域，同时保持暴力结构（身份轴、表达类型、修辞强度）的跨文化一致性。该项目显著推动了低资源语言与全球南方语境下的LLM安全评估研究，为多语言仇恨言论检测数据集构建提供了可复现的实践路径。

当前挑战

该数据集面临的核心挑战在于跨地域、跨语言的暴力模式对齐与本地化。首先，领域问题层面，现有安全基准几乎完全聚焦于西方语境与高资源语言，缺乏对南亚地区宗派修辞复杂性的刻画，LLM在处理结构性相似的群体间暴力模式时表现出差异化的安全行为，亟需构建能捕捉非西方社会文化特异性的评估框架。其次，构建过程中遭遇多重技术瓶颈：一是复杂多步指令导致模型出现任务漂移与分类泄漏，如将注释指南误译为输出内容；二是上下文长度限制引发截断，且少样本示例的模板记忆效应严重污染生成结果，模型倾向于复制样例而非处理实际输入；三是成本约束下，直接翻译与本地化费用高昂，迫使团队通过迭代优化Blueprint指令（历经四版精简）来平衡翻译保真度与数据规模，最终在机械分解后的输入-输出结构中实现了稳定生成。

常用场景

经典使用场景

在自然语言处理与计算社会科学的交叉领域中，DANGA-Adapted数据集最为经典的应用场景是面向低资源语言的跨区域社群暴力言语检测与结构化分析。该数据集基于原创的孟加拉语社群暴力语料库DANGA，通过适配实验室的Blueprint特征将高质量注释扩展至阿拉伯语、英语和中文，覆盖孟加拉国、印度、美国和中国四个地缘政治区域。研究者可利用该数据集训练和评估多语言模型在识别煽动性言论、仇恨话语及群体攻击模式上的表现，尤其侧重于对宗教、民族、社会文化及非特定群体四个身份维度与贬低、敌意、偏见、压制四类表达类型的细粒度分类。其正交化的分类学体系为社群暴力话语的计算建模提供了理论严谨的标注框架。

衍生相关工作

DANGA-Adapted的构建过程本身衍生出了一系列关于数据增强与翻译管道的方法论贡献，尤其是对适配实验室Blueprint特征在低成本多语言化场景下的迭代优化探索。从初始的结构性映射一试到最终的字段解耦策略，实验记录揭示了复杂指令、丰富示例和推理密集型任务如何导致模型行为漂移，而简洁的步骤约束和明确的否定规则如何提升生成稳定性。这些发现直接启发了低资源语言数据集扩增的最佳实践，即通过将任务分解为最小翻译单元并剥离注释上下文来避免上下文污染。此外，该工作所提出的结构同构主义假设——即跨区域的暴力模式在句法结构上具有可迁移性——为后续关于跨文化仇恨言语识别中的迁移学习研究提供了理论支点与实验证据。

数据集最近研究

最新研究方向

当前前沿研究聚焦于构建多语言、低资源的社群暴力检测与安全评估数据集，以解决大语言模型在非西方语境下的安全偏见。DANGA-Adapted通过Adaption Lab的Blueprint特性，将孟加拉语社群暴力文本跨语言迁移至阿拉伯语、英语和中文，覆盖孟加拉国、印度、美国和中国四个地缘政治区域，实现了暴力话语结构的跨文化映射。这一工作呼应了全球对于AI安全评估中语言不平等现象的关注，特别是在南亚等高风险区域，通过保持暴力类型学标签不变，揭示了相同修辞模式在不同语言和文化下的识别差异，为多语言内容审核与跨文化AI安全对齐提供了实证基础。该数据集在Adaption竞赛中发布，推动了低资源语言安全基准的构建，是应对生成式AI在非英语环境部署中安全隐患的重要尝试。