LiveSecBench

LiveSecBench是一个动态更新且持续更新的安全基准，专门针对中文语境下的LLM应用场景。LiveSecBench从六个关键维度（合法性、道德、事实性、隐私、对抗鲁棒性和推理安全性）评估模型，这些维度根植于中国的法律和社会框架。该基准通过动态更新计划保持相关性，包括新威胁向量的纳入，例如在下次更新中计划包括文本到图像生成安全性和代理安全性。LiveSecBench（v251030）已经评估了18个LLM，提供了中文语境下AI安全性的全景图。该排行榜公开可访问。

LiveSecBench is a dynamically updated and continuously maintained security benchmark specifically tailored for LLM application scenarios in the Chinese context. It evaluates models across six core dimensions: legitimacy, ethics, factual correctness, privacy, adversarial robustness, and reasoning safety, which are grounded in China's legal and social frameworks. This benchmark sustains its relevance through a dynamic update roadmap that integrates emerging threat vectors; for instance, text-to-image generation safety and AI Agent safety are scheduled for inclusion in its upcoming update. As of version v251030, LiveSecBench has evaluated 18 LLMs, providing a comprehensive overview of AI safety in the Chinese context. This leaderboard is publicly accessible.

搜集汇总

数据集介绍

构建方式

在人工智能安全评估领域，LiveSecBench的构建遵循严谨的流程。该数据集通过整合学术资源、社区讨论和真实案例，确保问题具有文化相关性和多样性。每个评估维度被细分为多个子维度，涵盖不同难度级别的问题。所有样本均经过人工筛选和验证，确保其能有效揭示主流模型在特定维度上的安全缺陷，从而构建出高质量、动态更新的测试集。

特点

LiveSecBench的独特之处在于其动态性和文化针对性。该数据集专门针对中文语境设计，覆盖合法性、伦理、事实性、隐私、对抗鲁棒性和推理安全六个核心维度。其问题根植于中国社会文化背景，能够捕捉间接表达、文化习语等独特风险因素。通过定期更新评估维度和测试问题，该数据集始终保持对新兴威胁的敏感性，避免了静态基准的过时问题。

使用方法

在模型安全评估实践中，LiveSecBench采用ELO评级系统进行动态排名。评估过程将模型随机分组进行多轮对抗测试，通过瑞士制配对策略确保公平比较。测试时需获取模型对所有问题的答案及其推理过程，系统根据胜负结果动态更新ELO分数。由于测试问题的敏感性，数据集不公开披露，研究者需通过指定渠道提交模型参与评估，并获得详细的维度性能分析报告。

背景与挑战

背景概述

随着大语言模型在中文应用场景的广泛部署，其安全风险评估成为人工智能领域的重要研究课题。LiveSecBench由清华大学等机构的研究团队于2025年提出，专门针对中文语境下的大语言模型安全评估需求而设计。该基准通过合法性、伦理性、事实性、隐私保护、对抗鲁棒性和推理安全性六个核心维度，构建了基于中国法律框架和社会文化背景的评估体系。其创新性地采用动态更新机制，持续追踪新兴威胁向量，为中文大语言模型的安全性能提供了科学系统的评估标准，填补了现有基准在中文语境适应性方面的空白。

当前挑战

在解决领域问题方面，LiveSecBench面临的主要挑战包括：如何准确捕捉中文语境下特有的文化隐喻、谐音双关等语言现象对模型安全性的影响；如何设计能够有效触发中文法律框架内安全机制的测试样本；以及如何应对模型对静态基准的过拟合现象。在构建过程中，研究人员需要克服数据质量控制的难题，确保每个测试样本都能稳定复现主流模型在特定维度的安全缺陷；同时需要建立动态更新机制，持续纳入新兴攻击向量，如文本到图像生成安全和智能体安全等新兴维度的评估，以保持基准的前瞻性和有效性。

常用场景

实际应用

在实际应用层面，LiveSecBench为中文大语言模型的商业化部署提供了重要的安全参考依据。企业级用户可通过该基准的评估结果，筛选出在中文环境下具备更强安全防护能力的模型产品，降低因模型输出不当内容而引发的法律风险和声誉损失。政府部门和监管机构也能借助这一工具，对市面上的LLM产品进行系统性安全审查，制定更加精准的监管政策。此外，模型开发者可根据详细的评估报告，针对性地改进模型在特定维度的安全表现，提升产品的市场竞争力。

衍生相关工作

基于LiveSecBench的设计理念和评估框架，研究社区已衍生出多个重要的相关研究工作。在评估维度扩展方面，即将推出的文本到图像生成安全和智能体安全评估模块，为多模态模型和自主代理系统的安全研究开辟了新方向。在方法论层面，其动态更新机制启发了更多持续学习基准的构建，如LiveBench和LiveCodeBench等。同时，该基准的文化特异性设计思路也被应用于其他非英语语境的安全评估工具开发，推动了全球化背景下LLM安全研究的本地化进程，形成了以动态性、文化适应性为核心的安全评估新范式。