遇见数据集

未明确命名,可称为对抗性AI生成社交机器人内容数据集

收藏
arXiv2026-06-05 更新2026-06-09 收录
官方服务:

资源简介:

本数据集由庞培法布拉大学与印第安纳大学社交网络观察站等机构联合构建,旨在通过对抗性方法模拟恶意行为者在社交媒体上模仿真实用户生成AI内容,为检测AI驱动的社交机器人提供基准数据。数据集包含来自Reddit和Telegram平台的73,521条真实用户消息,通过Gemma-3n-E4B和Qwen3-235B等模型生成对应AI文本,形成263,594对多语言跨平台配对数据,覆盖17种语言和36个频道,平均每条消息约136-156字符。其创建过程采用基于用户历史行为和对话上下文的个性化生成管道,通过严格的数据清洗和语言对齐确保真实性。该数据集主要应用于社交机器人检测、AI生成内容识别及信息安全领域,致力于解决传统检测模型在短文本和跨平台场景下性能不足的问题,以应对虚假信息和身份冒充等威胁。

This dataset was jointly developed by institutions including Pompeu Fabra University and the Indiana University Observatory on Social Media, among others. It is designed to simulate malicious actors generating AI content by mimicking real users on social media platforms through adversarial approaches, and to act as a benchmark dataset for detecting AI-powered social bots. The dataset comprises 73,521 real user messages sourced from Reddit and Telegram platforms. Corresponding AI-generated texts were produced using models such as Gemma-3n-E4B and Qwen3-235B, resulting in 263,594 multilingual cross-platform paired data pairs, covering 17 languages and 36 channels, with an average length of 136 to 156 characters per message. Its development adopts a personalized generation pipeline based on users' historical behaviors and conversational contexts, and guarantees data authenticity via strict data cleaning and language alignment protocols. This dataset is primarily utilized in the fields of social bot detection, AI-generated content recognition, and information security. It aims to mitigate the performance shortcomings of traditional detection models in short-text and cross-platform scenarios, thereby countering threats including disinformation and identity impersonation.

创建时间:
2026-06-05
搜集汇总
数据集介绍
未明确命名,可称为对抗性AI生成社交机器人内容数据集 数据集图片
构建方式
在大型语言模型与社交机器人深度交融的背景下,恶意行为者能够规模化生成以假乱真的人类文本。为应对这一挑战,该数据集采用了一种对抗性方法论,通过模拟潜在恶意行为者的攻击逻辑来构建。具体而言,研究团队从Reddit与Telegram两大平台收集了涵盖17种语言的真实社交媒体对话作为原始材料。随后,他们利用历史消息为用户构建精细的人格画像,并通过语义相似性检索获取对话上下文。在此基础上,基于两种不同规模的开源指令微调模型(Gemma-3n-E4B与Qwen3-235B-A22B),在有无对话上下文的两种条件下,生成了与原文风格高度一致的AI消息。最终,通过后处理消除文本伪影并确保语言一致性,得到了包含73,521条真实用户消息及263,594条成对人工与AI生成文本的多语言跨平台数据集。
特点
该数据集最显著的特点在于其高度逼真的对抗性设计。与依赖通用改写或直接生成的现有数据集不同,本研究通过融入用户人格与历史对话上下文,使生成的AI文本在写作风格、语气及立场上高度契合特定真实用户,极大增加了检测难度。数据集覆盖了包括高低资源语言在内的17种语言及两大平台,确保了横跨语言与生态的多样性。统计显示,生成文本在长度、链接密度及用户提及率上与真实文本存在细微差异,而引入上下文后这些差异进一步缩小,证明其卓越的模仿能力。这种精确对齐真实世界恶意行为者策略的构建方式,使得该数据集成为训练和评估强鲁棒性AI内容检测模型的稀缺基准资源。
使用方法
该数据集既可服务于AI生成文本的细粒度检测,更可应用于真实场景中AI社交机器人的识别。使用时,研究机构与平台安全团队可基于该数据集内的成对消息,采用文本分类范式训练基于Transformer或语言学特征的检测模型。推荐优先使用XLM-RoBERTa或多语言BERT作为基础编码器进行微调,其在消息级别和用户级别的检测任务中均展现出卓越性能。对个体消息评分后,可通过聚合多个用户消息的检测分数实现用户级别分类,模拟实际中对AI驱动社交机器人的发现。值得注意的是,该数据集尤其适合用于评估模型在分布外数据上的泛化能力,已有实验证明其训练的模型在真实世界数据集Fox8-23上显著优于现有基准。开发者可依据平台特性与模型复杂度,灵活选择训练策略与评估指标。
背景与挑战
背景概述
随着大型语言模型与社交机器人的深度融合,恶意行为者得以大规模生成类人内容以操纵信息生态,这对数字时代的公共讨论与民主制度构成了前所未有的威胁。在此背景下,由米科拉·特罗基莫维奇(Mykola Trokhymovych)联合庞培法布拉大学、印第安纳大学社交媒体观测站、瑞典皇家理工学院及巴塞罗那媒体研究机构的研究人员,于2026年构建了一个对抗性AI生成社交机器人内容数据集。该数据集的核心研究问题聚焦于如何通过模拟真实用户写作风格的对抗性方法,生成高质量的配对人类与AI生成消息,从而为基于内容的社交机器人检测提供可靠训练基准。这一工作不仅填补了现实场景中AI生成文本标注数据的匮乏,更通过多语言、跨平台的设计,显著提升了检测模型在真实分布外数据上的泛化能力,对信息操纵与网络空间治理领域产生了重要影响。
当前挑战
该数据集所应对的核心挑战在于,现有AI生成内容检测模型在社交媒体短文本与多样化风格面前表现不佳,且缺乏反映真实AI使用场景的鲁棒基准。具体而言,一方面,面临的领域问题包括:AI生成文本的检测需克服文本长度短、风格多变、缺乏可靠真实数据等固有困难,同时需应对不断演进的大型语言模型所生成的愈发逼真的内容;另一方面,数据集构建过程中遭遇的挑战则体现在:需设计能够模拟恶意行为者模仿真实用户历史消息行为的对抗性生成管道,涵盖用户画像构建、语义相似对话上下文检索、多语言与跨平台数据采集及格式统一、生成文本与真实文本在长度、符号使用等细节上的对齐与后处理,以及确保训练与测试集间无用户级别的数据泄露。这些挑战的解决对于提升检测模型的实战能力至关重要。
常用场景
经典使用场景
在社交媒体与计算社会科学领域,该数据集的核心用途是作为对抗性训练与评估的基准,用于检测由大型语言模型驱动的社交机器人所生成的类人文本。由于传统检测方法在真实场景中因缺乏标注数据而失效,该数据集通过模拟恶意行为者模仿真实用户的写作风格,构建了配对的真实与AI生成消息,为内容层面的机器人检测提供了高保真的训练与测试资源,尤其聚焦于短文本和多语言、跨平台场景下的检测挑战。
解决学术问题
该数据集解决了现有AI生成内容检测研究中普遍存在的域内过拟合与跨分布泛化能力薄弱的问题。通过引入对抗性生成管道,将用户历史行为、个人形象、会话语境等维度融入文本生成过程,数据集突破了简单改写或直接生成的局限,从而弥合了实验室可控环境与真实社交网络生态之间的鸿沟。其意义在于证明了基于上下文感知的对抗性数据能够显著提升检测模型在野生数据上的鲁棒性,为构建可信赖的自动化内容筛查系统奠定了方法学基础。
衍生相关工作
围绕该数据集衍生出了一系列重要的后续工作,包括对跨语言检测能力的系统对比分析(如Transformer分类器在17种语言上的表现测试)、对不同生成模型规模与语境丰富度对可检测性影响的可视化研究,以及将内容层级分数与账户行为特征、网络拓扑结构相融合的混合检测框架探索。此外,该数据集还推动了关于检测系统持续更新策略的讨论,催生了基于实时模型输出刷新训练数据的方法论创新,并催生了诸如LoRA微调等高效适配技术的反检测应用研究。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务