VisAlign

用于测量AI与人类在视觉感知上对齐程度的数据集，包含图像分类任务中的样本，分为三组：必须分类、必须回避和不确定，基于图像中视觉信息的数量和清晰度，进一步分为八个类别。所有样本都有人类感知标签，即使是严重模糊的不确定样本标签也是通过众包获得的。

This dataset is designed to measure the alignment between AI and human visual perception. It contains samples for image classification tasks, divided into three groups: must-classify, must-avoid, and uncertain. Based on the quantity and clarity of visual information in the images, these samples are further categorized into eight classes. All samples have human perception labels; even the labels of severely blurred uncertain samples are obtained via crowdsourcing.

原始信息汇总

VisAlign 数据集概述

数据集描述

VisAlign 数据集用于测量人工智能与人类在视觉感知中的对齐程度。

数据下载

训练集和开放测试集可以从以下链接下载： VisAlign 数据集下载链接

数据结构

下载并解压文件后，将包含以下文件和目录：

• open_test_corruption_labels.pk
• open_test_set/
• train_files/
• train_split_filenames/
  • final_eval/
  • final_train/

配置文件路径

在 config/imagenet.yaml 文件中，替换以下路径： yaml dataset: train: label_path: {path to train_split_filenames/final_train} imagenet21k_path: {path to train_files} eval: label_path: {path to train_split_filenames/final_eval} imagenet21k_path: {path to train_files}

训练模型

可以使用以下命令训练基线模型： bash python main.py --config {config} # 配置文件路径 --seed {seed} # 环境种子 --early_stopping # 激活早停 --early_stopping_patience {early_stopping_patience} # 早停的 epoch 数 --save_dir {save_dir} # 保存检查点的路径 --n_epochs {n_epochs} # epoch 数 --save_top_k {save_top_k} # 保存的模型检查点数量 --reload_ckpt_dir {reload_ckpt_dir} # 继续未完成的会话 --n_gpus {n_gpus} # 使用的 GPU 数量 --model_name {model_name} # 模型名称 --batch_size {batch_size} # 批次大小 --ssl # 自监督训练选项 --ssl_type {ssl_type} # 自监督学习方法 --cont_ssl # 微调 SSL 训练模型选项 --ssl_ckpt_dir {ssl_ckpt_dir} # 保存的 SSL 训练模型检查点路径

模型架构和大小

• ViT: vit_30_16
• Swin Transformer: swin_extra
• ConvNeXt: convnext_extra
• DenseNet: densenet_extra
• MLP-Mixer: mlp

自监督学习方法

• SimCLR: simclr
• BYOL: byol
• DINO: dino

评估模型

可以使用以下命令评估拒绝函数： bash python test_main.py --save_dir {save_dir} # 保存拒绝函数结果的目录 --ckpt_dir {ckpt_dir} # 模型检查点存在的目录 --model_name {model_name} # 要评估的模型名称 --postprocessor_name {abstention_function} # 后处理器名称 --test_dataset_path {test_dataset_path} # 开放测试集路径 --train_dataset_path {train_dataset_path} # 训练集路径，用于计算距离 --seed {seed} # 训练时使用的种子

拒绝函数选项

• knn
• mcdropout
• mds
• odin
• msp
• tapudd

引用

@article{lee2024visalign, title={VisAlign: Dataset for Measuring the Alignment between AI and Humans in Visual Perception}, author={Lee, Jiyoung and Kim, Seungho and Won, Seunghyun and Lee, Joonseok and Ghassemi, Marzyeh and Thorne, James and Choi, Jaeseok and Kwon, O-Kil and Choi, Edward}, journal={Advances in Neural Information Processing Systems}, volume={36}, year={2024} }