JiraiBench

JiraiBench数据集是由卡内基梅隆大学、华盛顿大学、香港理工大学和东京大学合作构建的一组双语基准数据集，旨在评估大型语言模型在检测中、日社交媒体社区中自我毁灭行为内容的有效性。该数据集包含10419条中文帖子和5000条日文帖子，通过三个行为类别进行多维标注，具有很高的标注者间一致性。

JiraiBench is a bilingual benchmark dataset co-constructed by Carnegie Mellon University, the University of Washington, The Hong Kong Polytechnic University, and the University of Tokyo. It aims to evaluate the effectiveness of large language models in detecting self-harmful content in Chinese and Japanese social media communities. The dataset contains 10,419 Chinese posts and 5,000 Japanese posts, which are multi-dimensionally annotated across three behavioral categories with high inter-annotator agreement.

搜集汇总

数据集介绍

构建方式

JiraiBench数据集的构建过程体现了严谨的方法学设计。研究团队采用关键词检索策略从新浪微博和X平台（原Twitter）采集了10,419条中文帖子和5,000条日文帖子，通过专业构建的双语词典识别潜在的自毁行为内容。数据清洗环节严格遵循平台政策，剔除了广告、重复内容和短文本等噪声信息，并对所有个人身份信息进行匿名化处理。标注框架采用三维度分类体系（药物过量、进食障碍、自残行为），由六名经过100小时专业训练的标注者（含母语者和领域专家）完成标注工作，通过科恩卡帕和弗莱斯卡帕系数验证了标注者间信度（0.68-0.78）。

特点

该数据集具有显著的跨文化特性，包含15,419条经过多维标注的双语社交媒体内容，覆盖三种典型自毁行为类型。其独特价值体现在：首次系统收录了地雷系亚文化群体的语言表达特征；采用三阶标注体系（无关内容/第一人称表达/第三方描述）实现细粒度分类；通过严格的跨语言平行构建确保数据可比性。特别值得注意的是，数据分布呈现显著的文化差异，例如中文内容中药物过量的第一人称表达占比（30.55%）远高于日文内容（3.82%），为研究文化因素对自毁行为表达的影响提供了实证基础。

使用方法

该数据集支持多种研究范式：作为基准测试可评估大语言模型在双语环境下的自毁行为检测性能；通过提示工程实验（零样本/少样本）探究跨文化迁移现象；作为训练集可微调领域专用模型。使用时应遵循三阶段流程：首先基于标注指南理解三维度分类体系；其次根据研究目标选择单语或跨语言分析模式；最后结合提示模板（中/日/英三语版本）设计实验方案。值得注意的是，实验数据表明日文提示在处理中文内容时意外展现优势，建议研究者特别关注这种跨文化迁移效应。

背景与挑战

背景概述

JiraiBench是由卡内基梅隆大学、华盛顿大学、香港理工大学和东京大学的研究团队于2025年共同创建的首个双语基准数据集，专注于评估大语言模型在中日社交媒体中识别自毁行为内容的能力。该数据集源于对'地雷系'（Jirai Kei）这一跨国网络亚文化现象的研究，该亚文化以公开表达心理困扰和自我毁灭倾向为特征，涵盖药物滥用、进食障碍和自残行为等多维内容。数据集包含10,419条中文微博和5,000条日文推文，采用三行为类别（OD/ED/SH）和三级标注体系（0/1/2），其创新性地融合了语言学与文化维度分析框架，为跨文化心理健康研究提供了重要实证基础。

当前挑战

JiraiBench面临的核心挑战体现在两个层面：在领域问题层面，需解决多行为共现识别（如药物滥用与自残的并发表达）、文化特异性表达解码（如中日'地雷系'群体的隐喻式表达）以及跨语言语义对齐等难题；在构建过程层面，遭遇敏感内容标注一致性（Cohen's Kappa需保持0.69-0.78）、双语平行语料获取（中日社交媒体数据异构性）、隐私伦理平衡（用户匿名化与数据效用权衡）等挑战。特别值得注意的是，数据标注需区分第一人称（1）与第三方描述（2）的微妙差异，且日文推文中自毁内容的隐晦表达比例较中文高14.7%，这对标注规范设计提出了更高要求。

常用场景

经典使用场景

JiraiBench数据集在心理健康研究和自然语言处理领域具有重要的应用价值。该数据集主要用于评估大型语言模型在检测中日双语社交媒体中自我毁灭行为内容方面的有效性。研究人员可以利用该数据集来测试和比较不同模型在识别药物滥用、进食障碍和自我伤害等行为方面的性能。数据集的多维标注框架和高质量的语言资源为相关研究提供了坚实的基础。

衍生相关工作

JiraiBench数据集已经衍生出多个重要研究方向。基于该数据集，研究人员开发了专门针对自我毁灭行为检测的跨文化迁移学习方法。数据集还启发了对大型语言模型在心理健康领域应用的新探索，包括提示工程优化和文化因素建模等。此外，该数据集为后续开发更全面的多语言心理健康评估基准奠定了基础，推动了相关领域的方法创新和理论发展。

数据集最近研究

最新研究方向

JiraiBench作为首个专注于中日双语社交媒体中自毁行为内容检测的基准数据集，其前沿研究聚焦于大语言模型在跨文化语境下的表现差异与知识迁移机制。近期研究发现，日语提示词在处理中文内容时意外优于中文提示词，揭示了文化邻近性在检测任务中可能超越语言相似性的现象。这一发现为多语言内容审核系统设计提供了新视角，表明基于文化原型而非单纯语言匹配的提示工程可能更有效。同时，该数据集推动了针对地雷系等跨国亚文化群体的精细化研究，通过融合语言学特征与文化维度，为心理健康危机预警系统开发提供了重要实证基础。

相关研究论文

• JiraiBench: A Bilingual Benchmark for Evaluating Large Language Models' Detection of Human Self-Destructive Behavior Content in Jirai Community

  卡内基梅隆大学, 华盛顿大学, 香港理工大学, 东京大学 · 2025年