ioai-2026-double-agent-dilemma

IOAI 2026 – Double Agent Dilemma 是国际人工智能奥林匹克（IOAI）2026年个人竞赛第四天（任务4）的官方数据集，于哈萨克斯坦阿斯塔纳举办。该数据集包含两个预训练的图像分类器——ResNet18（CNN）和ViT-Tiny（Transformer），它们在提供的图像上均达到100%的准确率。任务旨在利用两种架构之间的分歧点。数据来源于ImageNet的提取和过滤。数据集分为多个子集：公开训练集（public/train/）、公开测试集（public/test_public/）、公开试运行集（public/pretrain/和public/pretest/）、私有排行榜A集（private/test_leaderboard_a/）和私有排行榜B集（private/test_leaderboard_b/）。每个子集包含图像文件夹（images/）和标签文件（labels.json），其中标签文件将图像索引映射到类别ID。该数据集适用于图像分类任务，特别关注不同神经网络架构的决策差异。数据集采用CC BY 4.0许可证。IOAI 2026 – Double Agent Dilemma is the official dataset for Day 4 (Task 4) of the Individual Competition of the International Olympiad in Artificial Intelligence (IOAI) 2026, held in Astana, Kazakhstan. The dataset contains two pre-trained image classifiers—ResNet18 (CNN) and ViT-Tiny (Transformer)—both achieving 100% accuracy on the provided images. The task aims to exploit the divergence between the two architectures. The data is sourced from ImageNet extractions and filtering. The dataset is divided into multiple subsets: public training set (public/train/), public test set (public/test_public/), public holdout sets (public/pretrain/ and public/pretest/), private leaderboard set A (private/test_leaderboard_a/), and private leaderboard set B (private/test_leaderboard_b/). Each subset contains an images folder (images/) and a labels file (labels.json), where the labels file maps image indices to class IDs. This dataset is suitable for image classification tasks, with a special focus on decision differences across different neural network architectures. The dataset is licensed under CC BY 4.0.

原始信息汇总

IOAI 2026 – Double Agent Dilemma 数据集概述

基本信息

• 数据集名称：IOAI 2026 – Double Agent Dilemma
• 许可证：CC BY 4.0
• 数据类型：图像分类
• 标签：ioai、olympiad、image-classification

任务背景 该数据集是 IOAI 2026 个人赛第 2 天任务 4 的官方竞赛数据，比赛在哈萨克斯坦阿斯塔纳举行。任务围绕两个预训练图像分类器——ResNet18（CNN）与 ViT-Tiny（Transformer）——在提供的图像上均达到 100% 准确率，但两模型在预测不一致之处展开。

数据集结构 数据集仅包含数据，任务说明、翻译、基线和评分器均存放在 IOAI-2026 GitHub 仓库中。包含以下子集：

子集	路径	参赛者可见	用途
Public – train	public/train/	是	带标签图像
Public – test	public/test_public/	是	公开评估划分
Public – dry-run	public/pretrain/, public/pretest/	是	用于流程验证的小样本
Private – Leaderboard A	private/test_leaderboard_a/	否	比赛期间的实时排行榜
Private – Leaderboard B	private/test_leaderboard_b/	否	最终排名

每个划分均包含 images/ 文件夹及 labels.json 文件，后者将图像索引映射到类别 ID。

数据来源与致谢 所有数据均从 ImageNet 中提取并经过筛选。该任务由 Tao Dajiang 提出，并由 Tao Dajiang、Zhuldyz-Zhan Sagimbayev 和 Kamalkhan Artykbayev 开发，由 IOAI 2026 科学委员会以 CC BY 4.0 许可发布。

搜集汇总

数据集介绍

构建方式

本数据集源自国际人工智能奥林匹克竞赛（IOAI）2026年个人赛第四项任务，名为“双代理困境”，由竞赛科学委员会在哈萨克斯坦阿斯塔纳发布。数据集精心挑选自ImageNet，并经过过滤处理，包含两个预训练图像分类模型——ResNet18（卷积神经网络）与ViT-Tiny（视觉变换器）——在分类上产生分歧的图像。数据被划分为公开训练集、公开测试集、公开干跑集以及两套私有排行榜集，每套均包含图像文件与对应的类别标注JSON文件。

特点

该数据集的核心特点在于利用模型间的分歧，挑战参赛者对图像分类本质的理解。两个模型在提供的图像上均能达到100%准确率，但它们的决策路径截然不同，这要求参赛者识别并利用这些差异。数据集的划分策略细致，公开集用于开发验证，私有集则用于比赛期间的实时排名与最终评定，确保了竞赛的公平性与挑战性。所有图像均来自ImageNet，确保了数据的高质量和多样性。

使用方法

研究者与参赛者可访问公开子集进行模型训练与基线评估，利用`labels.json`文件进行监督学习。私有集仅供比赛期间官方使用，用于排行榜更新与最终排名。该数据集适用于探索模型间的不一致性、集成学习策略以及深度学习模型的鲁棒性研究。通过公开的GitHub仓库，用户可获取任务说明、基线代码和评分工具，便于复现实验或开发新的解决方案。数据集遵循CC BY 4.0许可，允许自由使用与分享，但需注明出处。

背景与挑战

背景概述

IOAI 2026 – Double Agent Dilemma 数据集诞生于2026年国际人工智能奥林匹克竞赛（IOAI）个人赛的第四项任务，由科学委员会成员陶大江等人提出并开发，在哈萨克斯坦阿斯塔纳举办。该数据集旨在揭示深度学习模型在图像分类中的架构差异，其核心研究问题为：当两个预训练分类器——ResNet18（卷积神经网络）与ViT-Tiny（视觉Transformer）——在给定图像上均达到100%准确率时，如何利用它们之间的分歧来设计具有挑战性的任务。这一设计不仅考验参赛者对模型内部机制的理解，也推动了多架构协同分析领域的发展，其数据源于ImageNet的精选与过滤，为研究模型泛化与决策边界提供了独特视角。

当前挑战

该数据集主要面临以下挑战：首先，需解决领域根本问题——尽管两种模型各自表现完美，但如何构建一个能暴露其预测分歧的图像集合，以促使参赛者探究架构差异的根源；其次，在数据构建过程中，需从ImageNet中筛选并过滤出满足条件（即两类模型均正确但预测路径不同）的样本，这要求对大规模数据的高效处理与精确标注，同时确保数据分布的代表性以维系竞赛公平性；此外，还需设计可靠的评估机制，区分公共测试集与私有排行榜数据，以支持实时排名与最终成绩的准确性，这为数据集的构建和验证带来了额外挑战。

常用场景

经典使用场景

该数据集主要用于图像分类任务中的模型鲁棒性与架构差异分析。其核心设计理念在于，两个在训练集上均达到100%准确率的预训练模型（ResNet18与ViT-Tiny）在面对特定图像时会产生分歧，这些图像正是数据集精心挑选的样本。因此，该数据集最经典的使用场景是作为评估基准，用于探究不同神经网络架构（卷积神经网络与视觉Transformer）在决策边界上的异同，进而推动对模型泛化能力、过拟合现象及决策可解释性的深入研究。

实际应用

在实际应用层面，该数据的价值体现在其能够作为模型部署前的压力测试工具。开发者在将模型投入生产环境前，可利用此数据集检验所选架构是否会在特定输入上产生不可预测的错误，进而规避潜在风险。它还可用于指导模型融合策略，即通过分析两个模型的互补性，构建更稳健的集成系统。此外，针对工业界常见的“过拟合于训练分布”问题，该数据集提供了一种快速诊断手段，有助于提升模型在动态、复杂场景下的适应能力。

衍生相关工作

自该数据集发布以来，已催生了一系列探索模型分歧与鲁棒性的衍生工作。研究者们基于此数据集开发了新的度量指标，用于量化不同架构间的决策一致性，并提出了旨在增强模型对“视觉幻觉”抵抗力的对抗训练改进方案。同时，它也激发了关于可迁移性学习的研究脉络，即利用模型分歧来主动挖掘未知盲区，为主动学习、半监督学习等范式提供了新的实验土壤。这些工作共同深化了我们对深度模型行为边界的理解。