ToxiREX: Toxic REasoning in ConteXt

ToxiREX是由阿姆斯特丹自由大学构建的一个多语言、上下文感知的毒性推理数据集，旨在系统性地捕捉和分析社交媒体中的隐式毒性内容。该数据集包含约12.5万条Reddit评论，涵盖英语、阿拉伯语、土耳其语等六种语言，数据来源于与重大现实事件相关的帖子，并采用独特的子线程预处理方法以保留对话语境。其创建过程基于毒性推理模式，通过GPT-4o生成训练集标注，并由母语者完成测试集标注，实现了对毒性含义的细粒度结构化解析。该数据集主要应用于自然语言处理领域，特别是隐式毒性检测、多语言内容审核及大语言模型评估，致力于解决在线环境中因文化、语境依赖而难以识别的有害语言推理问题。

ToxiREX is a multilingual, context-aware toxicity reasoning dataset developed by Vrije Universiteit Amsterdam, which aims to systematically capture and analyze implicit toxic content on social media. Comprising approximately 125,000 Reddit comments across six languages including English, Arabic, Turkish and others, the dataset is sourced from posts related to major real-world events, and adopts a unique sub-thread preprocessing approach to preserve conversational context. Its construction is based on toxicity reasoning patterns: training set annotations are generated via GPT-4o, while test set annotations are completed by native speakers, enabling fine-grained structured parsing of toxic meanings. This dataset is primarily applied in the field of natural language processing (NLP), particularly for implicit toxicity detection, multilingual content moderation, and large language model (LLM) evaluation, and is dedicated to addressing the challenge of identifying harmful language reasoning in online environments that is difficult to recognize due to cultural and contextual dependencies.

原始信息汇总

数据集概述：ToxiREX（Toxic REasoning in conteXt）

基本信息

• 数据集名称：ToxiREX
• 用途：上下文中的有害性推理（Toxic Reasoning in Context）
• 来源地址：https://github.com/cltl/toxirex

数据统计（基于模式特征的基本映射后分类）

数据集包含 test（测试集） 和 train（训练集） 两个部分，覆盖以下语言：

• ar（阿拉伯语）
• de（德语）
• en（英语）
• es（西班牙语）
• nl（荷兰语）
• tr（土耳其语）

分类标签含义

标签	含义
cat_maybe_	潜在有害
cat_justIn	仅不当
cat_differ	不同种类的有害性
cat_intimi	类似恐吓
cat_threat	类似威胁
cat_infe_n	低等本质
cat_infe_b	低等行为
cat_supe_n	高等本质
cat_supe_b	高等行为
cat_toxic!	有害

测试集（test）统计

分类	ar	de	en	es	nl	tr
cat_maybe_	626	759	650	785	447	656
cat_justIn	145	126	92	135	70	378
cat_differ	209	384	165	162	100	86
cat_intimi	4	6	19	22	27	1
cat_threat	0	1	7	13	8	1
cat_infe_n	61	79	27	139	29	50
cat_infe_b	142	106	173	168	190	93
cat_supe_n	1	0	0	0	0	0
cat_supe_b	0	0	0	0	0	0
cat_toxic!	562	700	476	627	416	608

训练集（train）统计

分类	ar	de	en	es	nl	tr
cat_maybe_	597	1944	30493	6858	1049	2005
cat_justIn	32	73	1110	351	42	421
cat_differ	0	0	0	0	0	0
cat_intimi	18	92	1432	337	37	78
cat_threat	16	80	1031	292	36	67
cat_infe_n	233	590	8790	2683	368	689
cat_infe_b	212	685	12100	2164	378	519
cat_supe_n	0	0	0	0	0	0
cat_supe_b	2	0	2	0	0	0
cat_toxic!	497	1445	23451	5550	827	1709

数据集特点

• 多语言：涵盖6种语言（阿拉伯语、德语、英语、西班牙语、荷兰语、土耳其语）
• 多维分类：包含9种有害性相关的细分类别
• 分类规模不均衡：例如"cat_supe_n"和"cat_supe_b"在大多数语言中样本数为0或极少

搜集汇总

数据集介绍

构建方式

ToxiREX数据集的构建基于Reddit平台的多语言评论数据，涵盖六种语言（英语、阿拉伯语、土耳其语、西班牙语、德语和荷兰语），并围绕2020至2023年间十五个重大国际事件（如2023年土耳其地震、俄乌战争）收集帖子与评论。为确保上下文信息的完整性，研究者设计了子线程（sub-thread）提取算法，将评论树结构拆分为长度适中的序列，兼顾注释可行性与语境保留。随后，利用GPT-4o大语言模型对约10%可能含有毒性内容的子线程进行预筛选，生成约12.5万条评论的银标准训练集。测试集则通过分层抽样选取近3000条评论，并由六种语言的母语者进行人工标注，确保注释质量。

使用方法

ToxiREX数据集适用于训练和评估毒性检测模型，特别是需要理解语境和隐含含义的场景。研究者可直接使用训练集对预训练语言模型（如XLM-RoBERTa）进行微调，或将测试集作为基准评估框架。数据集支持从毒性推理模式到现有分类体系（如隐含仇恨语料库）的映射，因此既可以采用自下而上的方法（直接按模式注释后映射），也可以自上而下（先用传统分类标注再映射到模式）。注释文件以结构化JSON格式存储，便于加载与解析，并提供了基线实验的代码和评估策略（如传播评估、条件评估、乐观评估）以处理多注释者不一致问题。

背景与挑战

背景概述

ToxiREX（Toxic REasoning in ConteXt）数据集由阿姆斯特丹自由大学的研究团队Stefan F. Schouten、Ilia Markov和Piek Vossen于2026年创建，聚焦于社交媒体中隐性与上下文依赖的毒性语言检测这一核心研究问题。该数据集突破性地将多语言性、对话上下文和隐性毒性整合于一体，基于先前提出的毒性推理模式对Reddit评论进行结构化标注，涵盖英语、阿拉伯语、土耳其语、西班牙语、德语和荷兰语六种语言，并关联重大现实事件（如2023年土耳其地震、俄乌战争）。ToxiREX的提出为理解跨文化毒性表达提供了独特资源，推动了毒性语言检测从粗粒度分类向精细化解构的范式转变，在自然语言处理领域具有重要影响力。

当前挑战

ToxiREX所应对的领域挑战在于隐性毒性语言的识别与解析——此类语言常通过暗示、反讽或文化特定语境传达冒犯性含义，远较显性表述难以捕捉。构建过程中面临的挑战主要包括：1）设计能够表征复杂隐含义的毒性推理模式，确保其覆盖多元文化背景下的毒性表达；2）对六种语言近12.5万条评论进行高效预处理，在保留对话上下文的同时控制标注可行性；3）协调不同语言母语标注者间的主观解释差异，并验证大型语言模型生成银标准标签的可靠性。实验表明，即便采用GPT-4o等先进模型，自动检测与表征毒性暗示仍存在显著提升空间，凸显了该任务的艰巨性。

常用场景

经典使用场景

在自然语言处理与计算社会科学交叉领域，ToxiREX数据集的核心用途在于推动对隐式且依赖上下文的有毒言语进行结构化推理。该数据集通过将Reddit评论置于原始对话线中，并依据系统性毒性推理模式对每个评论的隐含命题、态度倾向及目标实体进行多维标注，为研究者提供了首个同时涵盖多语言、对话语境与隐式毒性的精细资源。其经典使用场景包括利用层次化标注训练模型来识别评论是否在传递有害暗示，而非仅依赖显式辱骂词汇，从而克服传统二元或简单分类方法对复杂毒性表述的局限。

解决学术问题

ToxiREX的提出有效回应了学术研究中长期存在的若干关键难题：首先，它解决了隐式毒性检测中缺乏跨语言、跨文化语境标注数据的问题，通过包含六种语言与十五个重大世界事件的评论，使研究能够探讨不同社区中毒性推理与表达的差异。其次，该数据集弥合了微观层次语义推理与宏观毒性分类之间的鸿沟，其毒性推理模式支持映射至现有分类体系，从而允许研究者在开放探索的同时保持与已有工作的可比性。最后，它直面了标注歧义性这一方法论挑战，通过系统化分析标注者分歧，揭示了大量分歧源于可辩护的替代解释而非噪声，为构建更鲁棒的评估标准提供了新视角。

实际应用

在实际应用中，ToxiREX所驱动的模型可被部署于社交媒体内容审核系统，帮助平台自动识别那些不包含明显仇恨词汇却暗含贬低、威胁或刻板印象的言论，尤其适用于跨语言、跨文化背景下的在线社区治理。此外，该数据集支撑的推理框架能辅助新闻机构与政策制定者监测围绕敏感事件（如战争、自然灾害）的公众话语中潜藏的极化与有害情绪，为舆情预警提供结构化分析工具。在教育与心智健康领域，基于ToxiREX开发的检测器可用于筛选教育论坛中的隐性攻击性言论，保护青少年免受隐性霸凌的侵扰，从而促进更安全的数字交流环境。

数据集最近研究

最新研究方向

在当前网络环境中，隐晦与依赖上下文的毒性语言识别已成为研究焦点，ToxiREX数据集的问世精准回应了这一前沿挑战。该数据集通过引入创新的毒性推理模式，首次在单一资源中融合了多语言覆盖、对话语境保持及隐式毒性表征，填补了跨语言与跨文化毒性推理研究的空白。其构建基于Reddit平台与重大真实世界事件（如2023年土耳其地震、俄乌冲突）相关联的评论线索，采用结构化标注框架解析言语背后的隐含意图与态度，揭示了毒性的主观多样性。该数据集不仅为细粒度毒性分类与跨文化比较提供了新的评估基准，其提出的自下而上标注路径亦为揭露现有分类体系之外的毒性形态开辟了可行进路。

相关研究论文

• ToxiREX: A Dataset on Toxic REasoning in ConteXt

  阿姆斯特丹自由大学 · 2026年