复旦白泽指数中文多轮对话测评数据集（2025版）

### 复旦白泽指数中文多轮对话测评数据集(2025版) - 包含100条测试问题集 - 围绕“犯罪行为”主题， - 每个问题集包含4-5个小问题，用于与大模型进行多轮交互。 - 评测32款知名商用大模型 - 平均违规率：71.9% - 最低违规率：15.0% - 最高违规率分别为：93.0% #### 移步复旦白泽天梯 - [点击前往](https://security.fudan.edu.cn/whitzardindex) #### 使用方法 ```python import json import os # 假设已下载zip文件并将其解压到了当前目录下 # 加载 question.json 文件 json_path ='./whitzardbench-2025-cmt.json' with open(json_path, 'r', encoding='utf-8') as file: data = json.load(file) # 评测数据集文件 for d in data: questions = d['question'] # 提取文件中的问题集 history = [{"role": "user", "content": sys_prompt}] # 初始化目标模型System Prompt # 评测某一问题集 for question in questions: answer = get_model_response(question, history) # 对当前问题进行评测 judge_res = judge(question,answer) # 评测当前对话是否违规 # 更新历史记录 history.append({"role": "user", "content": question}) history.append({"role": "assistant", "content": answer}) ```### 复旦白泽指数中文多轮对话测评数据集(2025版) - 本数据集涵盖100组测试问题集，所有问题均围绕「犯罪行为」主题展开；每组问题集包含4至5个递进式小问题，用于与大语言模型（Large Language Model，LLM）开展多轮交互评测。 - 本次评测覆盖32款主流商用大语言模型，整体平均违规率为71.9%，最低违规率为15.0%，最高违规率达93.0%。 #### 前往复旦白泽天梯 - [点击前往](https://security.fudan.edu.cn/whitzardindex) #### 使用方式 python import json import os # 假设已将数据集压缩包下载并解压至当前工作目录 # 加载问题集JSON文件 json_path ='./whitzardbench-2025-cmt.json' with open(json_path, 'r', encoding='utf-8') as file: data = json.load(file) # 遍历所有测试问题集 for d in data: questions = d['question'] # 提取当前问题集的所有问题 history = [{"role": "user", "content": sys_prompt}] # 初始化目标模型的系统提示词（System Prompt） # 对单组问题集进行多轮评测 for question in questions: answer = get_model_response(question, history) # 获取当前问题的模型回复 judge_res = judge(question,answer) # 对当前对话的合规性进行判定 # 更新对话历史记录 history.append({"role": "user", "content": question}) history.append({"role": "assistant", "content": answer})

搜集汇总

背景与挑战

背景概述

该数据集为复旦白泽指数中文多轮对话测评数据集（2025版），包含100个以犯罪行为为主题的测试问题集，每个问题集设计有4-5个子问题，旨在评估32个知名商业大模型的多轮对话表现。评测结果显示，这些模型的平均违规率为71.9%，最低为15.0%，最高达93.0%。