AI-Secure/DecodingTrust

DecodingTrust数据集旨在帮助研究人员更好地理解部署最先进的大型语言模型（LLMs）时的能力、局限性和潜在风险。该数据集涵盖了八个主要领域的可信度评估，包括毒性、刻板印象和偏见、对抗性鲁棒性、分布外鲁棒性、隐私、对抗性演示的鲁棒性、机器伦理和公平性。

The DecodingTrust dataset is designed to help researchers better understand the capabilities, limitations, and potential risks of deploying state-of-the-art Large Language Models (LLMs). This dataset covers trustworthiness evaluation across eight major domains, including toxicity, stereotypes and bias, adversarial robustness, out-of-distribution robustness, privacy, robustness against adversarial demonstrations, machine ethics, and fairness.

原始信息汇总

数据集概述

本数据集名为DecodingTrust，旨在帮助研究人员更好地理解大型语言模型（LLMs）的能力、限制及潜在风险。数据集包含源代码，用于支持相关研究。

搜集汇总

背景与挑战

背景概述

该数据集名为DecodingTrust，专注于评估GPT模型的可信度，涵盖八个关键方面如毒性、偏见和隐私等。数据集以json格式存储，使用英语，大小在100K到1M之间，采用cc-by-sa-4.0许可证。