Younger

Younger数据集是由中国科学院计算技术研究所等机构创建的，旨在推动人工智能生成神经网络架构（AIGNNA）的研究。该数据集包含7,629个独特的神经网络架构，每个架构以有向无环图（DAG）形式表示，涵盖了超过30种任务。数据集的创建过程涉及从多个公共模型库中收集约174K真实世界模型，并通过转换为ONNX格式和提取DAG来确保模型的唯一性和安全性。Younger数据集不仅支持全局和局部两种设计范式，还为图神经网络（GNN）的研究提供了一个新的基准，特别适用于解决自动化神经网络架构设计和优化的问题。

The Younger Dataset was created by institutions including the Institute of Computing Technology, Chinese Academy of Sciences, aiming to advance research on Artificial Intelligence-generated Neural Network Architectures (AIGNNA). The dataset contains 7,629 unique neural network architectures, each represented as a Directed Acyclic Graph (DAG), covering over 30 types of tasks. The dataset construction process involved collecting approximately 174K real-world models from multiple public model repositories, and ensuring model uniqueness and security by converting them to the ONNX format and extracting their DAG representations. The Younger Dataset not only supports both global and local design paradigms, but also provides a novel benchmark for graph neural network (GNN) research, and is particularly applicable to addressing problems related to automated neural architecture design and optimization.

搜集汇总

数据集介绍

构建方式

Younger数据集的构建主要分为四个步骤：从公共模型库中检索神经网络模型，将模型转换为ONNX格式，从ONNX中提取有向无环图（DAG），以及对DAG进行过滤以确保唯一性。该数据集从四个公开的神经网络模型库中收集了超过17.4万个真实世界模型，涵盖了30多个任务类型。所有模型都被转换为ONNX格式，并使用自定义工具将ONNX模型转换为DAG，同时保留了详细的操作符级信息。为了确保数据集的唯一性，使用Weisfeiler-Lehman图哈希算法对提取的DAG进行哈希处理，以识别异构架构。

特点

Younger数据集的特点在于其包含的7,629个独特的神经网络架构，每个架构都以DAG的形式表示，并包含了详细的操作符级信息。数据集支持两种主要的设计范式：全局范式，用于从头创建完整的架构；局部范式，用于细化架构的组件。此外，Younger的DAG表示形式使其成为一个有潜力的图神经网络基准数据集。

使用方法

Younger数据集的使用方法包括两个方面：首先，可以用于自动化生成神经网络架构的实验研究，包括全局范式和局部范式的研究；其次，可以作为一个基准数据集，用于推进图神经网络的研究。数据集通过官方网站提供，支持在线浏览、下载和贡献模型。此外，还提供了数据集构建和实验的源代码，以方便研究人员进行研究和复现。

背景与挑战

背景概述

随着深度学习模型的快速发展，神经网络架构的设计和优化成为人工智能领域的关键挑战。传统的神经网络架构设计依赖于人工设计，而自动化设计神经网络架构的方法，如神经网络架构搜索（NAS），虽然取得了一定的成功，但仍然需要依赖人类专家的知识来设计初始的网络拓扑结构。为了克服这一限制，促进自动化生成多样化和创新性的神经网络架构，研究人员开发了Younger数据集。Younger数据集由中国科学院计算技术研究所分布式系统研究中心的研究团队创建，旨在推动人工智能生成神经网络架构（AIGNNA）领域的发展。该数据集包含了从超过30个公共模型库中提取的超过174K个真实世界模型，共包含7629个独特的架构，每个架构都以有向无环图（DAG）的形式表示，并包含详细的操作符级信息。Younger数据集的创建对于推动神经网络架构设计的自动化和创新具有重要意义，并为图神经网络（GNN）的研究提供了新的基准数据集。

当前挑战

Younger数据集的创建和利用面临一些挑战。首先，神经网络架构的多样性使得数据集的构建过程复杂且耗时。其次，数据集中包含的模型数量庞大，且结构复杂，这为自动化设计神经网络架构带来了挑战。此外，由于数据集中包含的模型架构具有高度异构性，因此在设计自动化神经网络架构时，如何有效地处理和利用这些异构架构也是一个挑战。最后，如何确保数据集的安全性和隐私性，防止模型参数泄露，也是需要考虑的问题。

常用场景

经典使用场景

Younger 数据集是首个用于人工智能生成神经网络架构的数据集。它包含了从现实世界模型中提取的7,629个独特的架构，每个架构都以有向无环图的形式表示，并包含详细的操作符级别信息。Younger 数据集支持两种主要的设计范式：全局范式，用于从头开始创建完整的架构；局部范式，用于对现有架构的组件进行详细优化。Younger 数据集的引入为人工神经网络架构设计的自动化和优化提供了新的可能性，并推动了图神经网络研究的发展。

衍生相关工作

Younger 数据集的引入推动了人工神经网络架构设计领域的研究，并衍生了一系列相关工作。这些工作包括：1）基于 Younger 数据集的神经网络架构生成算法：研究人员可以利用 Younger 数据集开发新的神经网络架构生成算法，实现更高效、更自动化的神经网络架构设计。2）基于 Younger 数据集的图神经网络研究：研究人员可以利用 Younger 数据集进行图神经网络算法的研究，推动图神经网络算法在各个领域的应用。3）基于 Younger 数据集的深度学习模型优化方法：研究人员可以利用 Younger 数据集开发新的深度学习模型优化方法，提高模型的性能和效率。

数据集最近研究

最新研究方向

随着深度学习模型在各个领域的广泛应用，神经网络架构设计的重要性日益凸显。Younger数据集的提出，旨在解决传统架构设计过程中依赖人工经验和手动调整的难题，推动人工智能生成神经网络架构（AIGNNA）的发展。Younger数据集收集了来自30多个任务的17.4万个真实世界模型，包含7629种独特的架构，每种架构都以有向无环图（DAG）形式呈现，并附带详细的操作符级别信息。该数据集支持全局和局部两种设计范式，全局范式旨在从头开始创建完整的架构，而局部范式则侧重于对现有架构的细节进行优化。Younger数据集的发布，降低了研究人员进入AIGNNA领域的门槛，并为图神经网络研究提供了新的基准数据集，推动了神经网络架构设计的新方向。

相关研究论文

• Younger: The First Dataset for Artificial Intelligence-Generated Neural Network Architecture

  中国科学院计算技术研究所 · 2024年