Hard-Bench

Hard-Bench是一个旨在评估先进神经网络在低资源环境下学习能力的挑战性基准。该数据集由上海人工智能实验室创建，包含11个子数据集，其中3个为计算机视觉（CV）数据集，8个为自然语言处理（NLP）数据集。数据集的创建旨在揭示现有模型在处理困难示例时的性能下降，特别是在传统低资源基准测试中表现良好的预训练网络在Hard-Bench上的表现并未显示出改进。这一发现表明，现有模型与人类水平性能之间仍存在较大的鲁棒性差距。Hard-Bench is a challenging benchmark designed to evaluate the learning capabilities of state-of-the-art neural networks in low-resource environments. Developed by the Shanghai AI Laboratory, this benchmark consists of 11 sub-datasets, including 3 computer vision (CV) datasets and 8 natural language processing (NLP) datasets. The benchmark was created to reveal the performance degradation of existing models when handling challenging examples. Specifically, pre-trained networks that perform well in traditional low-resource benchmark tasks show no improvements on Hard-Bench. This finding indicates that a substantial robustness gap still exists between current models and human-level performance.

搜集汇总

数据集介绍

构建方式

在低资源学习领域，传统基准测试往往从大规模数据集中随机采样，难以揭示模型在困难样本上的真实泛化能力。Hard-Bench的构建另辟蹊径，旨在通过精心挑选的挑战性样本，更有效地评估神经网络的学习能力。该基准涵盖了11个数据集，包括3个计算机视觉数据集（如CIFAR-10、CIFAR-100和ImageNet）和8个自然语言处理数据集（来自GLUE）。构建过程分为两步：首先，在一个完整数据集上仅训练一个弱分类器（如单轮训练的简单前馈网络或BERT），以获得一个带有偏差的预测器；随后，基于损失分数或梯度范数分数对每个样本的难度进行排序，为每个标签选取难度最高的k个样本，组成低资源训练集。这一方法同时引入了数据难度和分布偏差两个维度，使得所选样本既难以分类又存在特征偏移，从而模拟了真实世界中低资源场景的挑战性。

特点

Hard-Bench的核心特点在于其刻意设计的困难性和偏差性，这使其与传统的随机采样基准形成鲜明对比。首先，该基准中的样本大多位于决策边界附近或具有较小的分类间隔，导致模型难以正确学习核心特征，从而在测试时出现显著的性能下降。例如，在情感分类任务SST-2上，RoBERTa在随机基准上可达91%的准确率，但在Hard-Bench上骤降至约50%，接近随机猜测。其次，通过早期停止训练的弱分类器引入的偏差，使得所选样本在视觉或语义上偏离主流分布，例如飞机图片中天空背景的缺失，迫使模型无法依赖虚假相关性进行推断。此外，Hard-Bench的两个变体——基于损失分数和基于梯度范数——均能有效揭示模型的脆弱性，其中损失分数变体更具挑战性，因为它直接反映了模型对样本理解的困难程度。

使用方法

Hard-Bench的使用方法遵循典型的低资源学习评估流程，但强调在训练集选择上的特殊策略。用户可从提供的11个数据集中，针对每个标签选取固定数量的高难度样本（如500-shot或16-shot）作为训练集，并使用标准验证集或测试集进行性能评估。在计算机视觉任务中，推荐使用弱分类器（如FFN）进行样本选择，而在自然语言处理任务中，则建议采用BERT等预训练模型作为偏差预测器。实验表明，无论是随机初始化的网络还是预训练的语言模型（如RoBERTa、T5），在Hard-Bench上均表现出大幅性能下降，且预训练模型在NLP任务上甚至未能超越随机基线，凸显了当前模型与人类水平之间的鲁棒性差距。代码已开源，用户可通过指定变体（如Hard-Bench (Loss)或Hard-Bench (GradNorm)）和样本数量，灵活复现基准测试。

背景与挑战

背景概述

Hard-Bench数据集由Yudong Wang、Chang Ma、Qingxiu Dong、Lingpeng Kong和Jingjing Xu等研究者于2023年提出，旨在解决低资源学习场景下现有基准测试难以真实反映模型学习能力的问题。随着深度神经网络在高资源场景下取得饱和性能，低资源数据集逐渐成为评估模型泛化能力的重要平台，然而诸如BigBench和superGLUE等基准测试中，部分模型甚至超越了人类表现，这暗示了当前评估标准可能存在高估。该数据集涵盖3个计算机视觉数据集和8个自然语言处理数据集，通过引入“困难样本”和偏差样本，更有效地揭示神经网络的脆弱性，对推动低资源学习领域的鲁棒性研究具有重要影响力。

当前挑战

Hard-Bench数据集面临的核心挑战包括：首先，低资源学习本身对数据难度和分布偏差高度敏感，理论分析表明，当训练样本靠近决策边界或存在虚假相关性时，模型泛化误差显著增大；其次，构建过程中需巧妙平衡困难样本与偏差样本的选取，通过早期停止训练引入偏差，并利用损失分数和梯度范数等指标筛选最具挑战性的子集；此外，现有预训练模型在自然语言处理任务上表现大幅下降，甚至不如随机初始化模型，凸显了鲁棒性鸿沟，而数据增强技术仅能带来轻微改进，难以根本解决泛化难题。

常用场景

经典使用场景

在低资源学习领域，现有基准测试往往因随机采样而低估模型与人类之间的性能差距。Hard-Bench 通过引入困难样本与偏置样本，构建了一套更具挑战性的评估框架，涵盖图像分类与自然语言理解任务。该基准的核心用法在于精准揭示神经网络在数据稀缺、样本歧义大或存在虚假关联时的泛化脆弱性，尤其适用于检验预训练模型在极端条件下的真实学习能力，从而为低资源场景下的模型鲁棒性研究提供严苛的测试平台。

实际应用

在实际应用中，低资源场景普遍存在于个性化医疗、低资源语言理解、小样本舆情监测等领域，这些场景下的数据往往天然带有偏置且包含大量难以区分的样本。Hard-Bench 的构建方法可迁移至真实业务场景，帮助从业者识别模型在稀缺且有偏数据上的脆弱环节，指导数据采集与增强策略的优化。例如，在医疗影像诊断中，利用类似困难样本筛选技术可提前暴露模型对罕见病变的漏诊风险，从而提升系统的可靠性与公平性。

衍生相关工作

Hard-Bench 的提出激发了多项后续研究工作。其基于损失与梯度范数的困难样本筛选思想，与数据剪枝、课程学习等领域形成深度互动，启发了更高效的数据子集选择方法。此外，该基准揭示的预训练模型在困难 NLP 任务上的异常退化现象，催生了针对低资源场景的鲁棒微调策略研究，如对抗训练与去偏正则化。同时，其视觉分析中展示的虚假关联案例，为可解释性研究提供了实证素材，推动了模型决策边界与偏置来源的深入探索。