SAD - Situational Awareness Dataset

这是一个关于情境意识数据集的评估项目代码库。数据集包括多个子集，用于评估模型在不同情境下的表现。数据集内容包括模型评估代码、评估结果和一些辅助工具。为了防止数据集被用于训练，所有包含问题的文件都进行了加密处理。

This is a code repository for an evaluation project focused on situational awareness datasets. The dataset comprises multiple subsets designed to evaluate model performance across diverse scenarios. The contents of the dataset include model evaluation code, evaluation results, and several auxiliary tools. To prevent the dataset from being used for model training, all files containing questions have been encrypted.

原始信息汇总

SAD - Situational Awareness Dataset

简介

SAD（Situational Awareness Dataset）是一个用于评估模型在情境意识数据集上的表现的项目。该数据集包含以下内容：

1. 用于评估模型在SAD或其子集上的代码。
2. 论文中提到的模型的评估结果。
3. 其他实用工具，如绘图代码。

注意：

• 评估新模型可能需要编写代码（参见运行新模型）。
• 整个评估过程是本地的，因此可以安全地评估私有模型。
• SAD虽然名为“数据集”，但并非纯粹的数据集，部分任务是程序性的，无法以问答形式描述。
• 所有任务都使用Evalugator库。

防止SAD被用于训练集

为了防止SAD被用于训练语料库，所有包含SAD问题的文件都进行了压缩和加密。我们提供了unzip.sh和zip.sh脚本来解压和压缩数据集文件。我们要求所有使用或基于SAD构建的人采取这些预防措施（或至少同样严格的预防措施），以防止基准无效。

SAD子集

SAD包含多个子集，以减少评估新模型的成本和工作量，并方便将部分SAD导出到不同框架中。

SAD-lite

SAD-lite是SAD的简化版本，去除了一些需要大量手动工作的任务，如facts_which_llm、id_leverage_multihop和introspection_count_tokens。

SAD-mini

SAD-mini是最便携和最容易运行的SAD子集，包含多项选择题任务，不依赖模型评分或算法评分。

SAD-mini导出

可以通过运行sad export命令创建SAD-mini的JSON导出文件，默认存储在exports/export.json中。

使用

安装

代码开发使用Python 3.12，其他较新版本也可能适用。

bash

获取代码和数据

git clone https://github.com/LRudL/sad.git cd sad

安装依赖

pip install -e .

解压运行任务所需的文件

./unzip.sh --exclude-evals

运行任务

bash

在单个模型上运行单个任务

sad run --tasks influence --models claude-3-haiku-20240307 --variants plain

显示关键指标

sad results --tasks influence

模型配置

models.yaml文件指定了SAD代码库识别的模型集。运行SAD的第一个步骤是确保模型包含在该文件中。

CLI命令

• sad run：运行评估。
• sad results：计算并显示聚合结果。
• sad plot：从缓存结果文件创建图表。
• sad test_run：仅运行单个样本，不保存任何文件，用于开发/测试目的。

运行新模型

可能需要编辑models.yaml和model_names.yaml配置文件，添加模型事实和分词器。

SAD任务

任务在论文附录中描述，可以通过CLI的--tasks参数传递任务ID。

评估结果

每次运行（由模型、任务、变体三元组标识）对应于聚合结果中的单行和两个原始结果文件。

unzip.sh

默认情况下，所有SAD问题和答案以及缓存的原始结果都存储在受密码保护的ZIP文件中。使用./unzip.sh脚本解压文件。

以上内容总结了SAD数据集的关键信息，包括其简介、防止被用于训练集的措施、子集介绍、使用方法、模型配置、CLI命令、运行新模型的步骤、任务列表以及评估结果的处理。

搜集汇总

数据集介绍

构建方式

SAD数据集的构建方式独特，它不仅包含静态的数据集，还包含一系列程序性任务，这些任务无法简单地通过问答形式描述。数据集的核心部分是通过Evalugator库进行评估，确保了评估过程的本地化和安全性。为了防止数据集被用于训练，所有包含SAD问题的文件都被压缩和加密，并提供了专门的解压和压缩脚本，确保数据集在任何情况下都不会以明文形式暴露。

特点

SAD数据集的特点在于其多样性和动态性。它不仅包含传统的静态数据集，还引入了程序性任务，这些任务根据模型的不同而变化，增加了评估的复杂性和真实性。此外，数据集通过加密和压缩的方式，有效防止了数据泄露和被用于训练的风险，确保了评估的公正性和安全性。

使用方法

使用SAD数据集时，首先需要通过git克隆代码库并安装相关依赖。随后，使用提供的unzip.sh脚本解压和解密数据集文件。通过命令行界面，用户可以运行特定的任务和模型评估，生成结果并进行分析。数据集支持多种模型和任务的评估，用户可以根据需要选择不同的子集进行评估，如SAD-lite和SAD-mini，以适应不同的计算资源和需求。

背景与挑战

背景概述

SAD（Situational Awareness Dataset）是由LRudL开发的一个用于评估模型情境意识的数据集。该数据集的核心研究问题是如何在不同情境下评估模型的表现，特别是在涉及模型特定响应和复杂评分机制的任务中。SAD的创建旨在为情境意识研究提供一个全面的基准，涵盖了从基础模型偏差到自我识别等多个方面。通过提供不同子集（如SAD-lite和SAD-mini），该数据集不仅支持对现有模型的评估，还鼓励对新模型的探索和开发。

当前挑战

SAD数据集面临的主要挑战之一是如何防止其数据被用于训练集，从而避免模型在评估时出现偏差。为此，数据集采用了加密和压缩技术，确保问题和答案文本不会以明文形式出现在可抓取的任何地方。此外，构建过程中遇到的挑战包括为新模型提供特定的事实信息和令牌化器，以及在不同框架间导出数据集的部分内容。这些挑战要求研究者在数据集的使用和扩展过程中采取严格的预防措施，以保持评估的公正性和有效性。

常用场景

经典使用场景

在情境意识（Situational Awareness）研究领域，SAD数据集被广泛用于评估模型在复杂情境中的表现。该数据集通过一系列任务，如facts_human_defaults、influence和self_recognition_who，来测试模型对情境的理解和响应能力。这些任务不仅涵盖了模型对事实的识别，还包括对模型自我认知和规则应用的评估。通过这些任务，研究者能够全面评估模型在不同情境下的适应性和准确性。

衍生相关工作

SAD数据集的发布和应用催生了大量相关的经典工作，包括对情境意识模型的深入研究、新型评估方法的开发以及跨领域应用的探索。例如，研究者利用SAD数据集开发了新的模型评估框架，提高了评估的准确性和效率。此外，SAD数据集还被用于验证和优化各种情境意识算法，推动了该领域的技术进步。通过这些衍生工作，SAD数据集不仅提升了情境意识研究的水平，还促进了相关技术的实际应用。

数据集最近研究

最新研究方向

在情境意识数据集（SAD）的最新研究中，研究者们聚焦于如何通过细粒度的任务划分和模型评估来提升人工智能系统的情境理解能力。这一领域的研究不仅关注于模型的性能评估，还强调了数据集的隐私保护和防止数据泄露的重要性。通过引入加密和解密机制，SAD确保了数据集在使用过程中的安全性，从而避免了数据被用于模型训练的风险。此外，研究者们还探索了不同子集（如SAD-lite和SAD-mini）的应用，以适应不同模型和框架的需求，进一步推动了情境意识技术在实际应用中的普及和优化。