LHD

LHD是由中国科学院软件研究所的研究人员Jiuling Zhang和Zhiming Ding提出的一种新的数据集，旨在改进DARTS搜索空间，提供一个更大且更具挑战性的基准。该数据集通过结合未充分探索的影响因素，如传导鲁棒性和离散化策略，构建了一个基于多条件评估的基准。LHD数据集的应用领域主要集中在神经架构搜索（NAS）的评估和改进，旨在解决现有数据集在评估方法排名时存在的准确度范围狭窄的问题。LHD is a novel dataset proposed by researchers Jiuling Zhang and Zhiming Ding from the Institute of Software, Chinese Academy of Sciences. It is designed to improve the DARTS search space and provide a larger, more challenging benchmark. This dataset constructs a multi-condition evaluation-based benchmark by integrating under-explored influencing factors such as conduction robustness and discretization strategies. The application domains of the LHD dataset primarily focus on the evaluation and improvement of Neural Architecture Search (NAS), aiming to address the problem of narrow accuracy range in existing datasets when ranking evaluation methods.

搜集汇总

数据集介绍

构建方式

LHD数据集基于DARTS搜索空间（DSS）进行了系统性重构。研究团队首先提出了一套改进方案：引入输入级softmax机制以实现跨边操作重要性的公平比较；设计可搜索的多元操作块（polynary s/e block），包括求和块（SSB）与拼接块（CSB），将细胞输出路径纳入搜索范畴；统一卷积原语结构，消除人为偏置。通过将中间节点与细胞输出之间的连接路径松弛为可搜索，实现了节点可移除性，从而解耦最终网络与超网络设计。这些改进共同构建了一个规模更大、难度更高的搜索空间，其有效子空间复杂度从DSS的10^18提升至LHD的10^84以上。

特点

LHD数据集的核心特点在于其卓越的区分性与挑战性。相比DSS中方法排名平均精度间隔仅0.012%的狭窄范围，LHD将这一指标提升至0.29%以上，显著增强了基准的可分辨性。该空间成功削弱了参数量与验证精度之间的强相关性（从0.52降至0.20-0.29），使方法难以通过简单选择大容量操作获得高分。LHD支持多样化的离散化策略（Base、1M、3ops、4out），并能够编码从简单到极其复杂的连接模式，涵盖ResNet式加和与DenseNet式拼接等多种拓扑结构。此外，该空间在扩大规模的同时将搜索时间降低了40%，实现了性能与效率的平衡。

使用方法

LHD数据集的使用遵循多条件评估协议。研究者需在三个标准基准数据集（CIFAR-10、CIFAR-100、SVHN）上，针对四种离散化策略（Base、1M、3ops、4out）共十二种条件进行评估，以全面验证方法的跨数据集迁移鲁棒性与离散化策略敏感性。搜索阶段推荐使用五个独立种子的多次搜索并取平均值作为最终结果。评估阶段采用启发式正则化协议，根据最终网络的细胞连接密度自适应调整丢弃路径率。所有基线方法均需严格遵循统一的超参数设置，确保公平比较。该基准支持即开即用，研究者仅需实现自身方法并与提供的基线分数进行对比。

背景与挑战

背景概述

LHD数据集诞生于2023年，由中国科学院大学与中科院软件所的Jiuling Zhang和Zhiming Ding联合提出，旨在解决DARTS搜索空间（DSS）作为神经架构搜索（NAS）基准时存在的精度范围狭窄问题。DSS虽已成为NAS领域的经典基准，但其相邻方法排名间的平均精度差距仅约0.012%，远低于0.1%的统计波动阈值，导致不同方法的性能难以区分，甚至使方法排序失去意义。LHD通过引入输入软化、可搜索多元操作、统一卷积原语及可移除中间节点等改进，将搜索空间复杂度从10^18提升至10^84以上，同时削弱了参数量与验证精度间的相关性，从而构建了一个更大、更具挑战性的基准空间。该数据集在CIFAR-10、CIFAR-100和SVHN上评估了12种基线方法，涵盖四种离散化策略，显著提升了基准的可辨别性与鲁棒性，为NAS领域提供了更可靠的评价基础。

当前挑战

LHD数据集面临的核心挑战在于解决NAS方法评价中的可区分性难题。首先，传统DSS空间因精度范围过窄（AMAR仅0.012%），使得不同方法间的性能差异常被统计噪声淹没，难以判定方法优劣。其次，构建过程中需克服人为偏见与空间灵活性之间的矛盾：过度引入手工设计的固定结构（如不可搜索的细胞连接）虽能简化搜索，却限制了空间多样性并加剧过拟合。此外，LHD需在扩大空间的同时保持搜索效率，通过减少超网络规模（降低70%）并增加中间节点，实现了复杂度提升而计算开销不增反降。最后，多条件评价框架要求方法在不同数据集与离散化策略下均表现稳定，这对NAS方法的泛化能力提出了更高要求，也暴露出许多现有方法在偏好特定结构时的脆弱性。

常用场景

经典使用场景

在神经架构搜索（NAS）领域，LHD数据集被广泛用作一个更具挑战性和可辨识性的基准搜索空间。它通过引入输入软最大化、可搜索多元操作、统一卷积原语等改进，取代了传统DARTS搜索空间（DSS）中因精度范围过窄而导致方法排名不可靠的缺陷。LHD不仅扩大了搜索空间的复杂度至10^84量级，还通过移除人工设计的伪影（如固定跳跃连接和不可搜索单元），使方法必须自主学习有效的梯度路径，从而更公平地评估不同NAS算法的真实架构搜索能力。该数据集尤其适用于验证可微架构搜索方法在多条件评估下的泛化性和鲁棒性。

衍生相关工作

LHD数据集的提出催生了一系列后续研究工作。其改进的搜索空间设计（如输入软最大化、可搜索多元操作和统一卷积原语）被后续NAS方法广泛借鉴，用于构建更具泛化能力的搜索框架。多条件评估范式（结合跨数据集迁移和多种离散化策略）成为NAS基准测试的新标准，影响了如NAS-Bench-360和TransNAS-Bench-101等综合性基准的设计。此外，LHD对参数量与精度相关性的削弱，推动了零成本代理指标（如Zen-NAS）和轻量级架构性能预测器的发展，这些工作共同提升了NAS方法的可解释性和公平比较的科学性。

数据集最近研究

最新研究方向

在神经架构搜索（NAS）领域，传统DARTS搜索空间（DSS）因精度范围狭窄导致方法排序不可靠的问题日益凸显。LHD数据集的提出正是为了应对这一挑战，通过输入软最大化、可搜索多元操作及统一卷积原语等创新设计，构建了一个规模更大、难度更高的搜索空间，显著提升了基准测试的区分度。该数据集不仅弱化了参数量与验证精度之间的强关联，还引入多条件评估框架，涵盖跨数据集迁移鲁棒性与离散化策略的联合考量。这一前沿研究方向推动了NAS评估范式的革新，使得方法间的性能差异更为清晰可辨，为公平比较和算法泛化能力验证提供了坚实基石，对自动化机器学习领域的基准建设具有里程碑式的影响。

相关研究论文

• Rethink DARTS Search Space and Renovate a New Benchmark

  中国科学院软件研究所 · 2023年