大模型安全测试问题自动生成训练数据集

目前，我国百亿级参数规模以上的大模型超过10个，十亿级参数规模以上的大模型接近80个，诸多垂直类大模型在医疗健康、教育、金融等行业中逐步开展应用。大模型的蓬勃发展也衍生出一系列的安全问题，主要包括输入型的数据投毒风险，以及输出型的违反核心价值观、输出虚假信息等风险。因此，网信部门需要能够为互联网上的各种生成式大模型产品进行备案检测和常态化的安全测评服务，从而实现对生成式大模型产品的安全治理。 针对生成式大模型安全检测需要大量测试问题，而大量测试问题需要人工参与、耗时又成本高且难以跟上大模型快速迭代的难点。本数据集可以提供给安全大模型，在使用这些数据集进行微调后，可以基于少量种子问题生成和变异出新的、大量的测试问题，从而能够解决大模型安全检测工作需要大量测试问题的难题。