ImageNet, Extreme Weather Analytics (EWA)

ImageNet是一个大规模视觉数据库，包含超过1400万张手工标注的图像，用于视觉对象识别研究。EWA数据集包含26年的气候数据，用于极端天气分析，每份数据包含16通道的1460张图像，用于识别极端天气事件。这两个数据集分别代表了商业和科学计算领域的应用，用于评估高性能计算AI系统的性能。

ImageNet is a large-scale visual database comprising more than 14 million manually annotated images, dedicated to visual object recognition research. The EWA Dataset contains 26 years of climate data for extreme weather analysis, where each sample includes 1460 16-channel images for extreme weather event recognition. These two datasets respectively represent application scenarios in commercial and scientific computing domains, and serve as benchmarks for evaluating the performance of high-performance computing AI systems.

搜集汇总

数据集介绍

构建方式

ImageNet, Extreme Weather Analytics (EWA) 数据集的构建基于大规模分布式深度学习算法在商业和科学计算领域的应用趋势。研究团队从AIBench训练套件中精选了两个具有代表性和可重复性的AI工作负载：图像分类和极端天气分析。这两个工作负载分别代表了商业计算和科学计算领域，通过使用ImageNet数据集和EWA数据集，确保了数据集的广泛适用性和科学性。

特点

ImageNet, Extreme Weather Analytics (EWA) 数据集的特点在于其广泛的应用领域和高质量的数据标注。ImageNet数据集包含超过1400万张手工标注的图像，适用于图像识别研究；而EWA数据集则包含了26年的气候数据，用于极端天气事件的检测和分析。这两个数据集不仅在模型复杂性和计算成本上具有多样性，还在微架构特性上提供了丰富的实验场景。

使用方法

ImageNet, Extreme Weather Analytics (EWA) 数据集主要用于高性能计算AI系统的基准测试。用户可以通过TensorFlow等深度学习框架，结合Horovod等分布式训练库，对图像分类和极端天气分析任务进行训练和评估。通过计算有效的FLOPS（Valid FLOPS），用户可以量化系统在达到目标质量时的性能，从而进行系统优化和比较。

背景与挑战

背景概述

ImageNet, Extreme Weather Analytics (EWA)数据集是由中国科学院计算技术研究所、中国科学院大学和国际开放基准委员会（BenchCouncil）的研究人员共同创建的。该数据集的创建旨在为高性能计算（HPC）AI系统提供一个代表性、可重复且简单的基准测试方法。核心研究问题是如何在高性能计算环境中加速深度学习算法的训练时间，以达到最先进的质量。这一研究对商业和科学计算领域产生了深远影响，尤其是在图像分类和极端天气分析等应用中。

当前挑战

ImageNet, EWA数据集面临的挑战主要集中在两个方面。首先，构建过程中需要解决如何在高性能计算环境中实现代表性和简单性的问题，确保基准测试能够公平和客观地评估系统性能。其次，由于AI的随机性本质，确保基准测试的可重复性也是一个重大挑战。此外，数据集的复杂性和计算成本也增加了基准测试的难度，尤其是在处理大规模数据和模型时。

常用场景

经典使用场景

ImageNet, Extreme Weather Analytics (EWA) 数据集在深度学习领域中被广泛用于图像分类和极端天气事件分析。在图像分类任务中，ImageNet 数据集提供了大量的标注图像，用于训练和验证深度学习模型，如 ResNet 和 AlexNet。而在极端天气分析中，EWA 数据集包含了多年的气候数据，用于训练模型识别和预测极端天气事件，如热带气旋和极端降水。这两个数据集的经典使用场景主要集中在高性能计算（HPC）和人工智能（AI）的交叉领域，特别是在大规模分布式深度学习算法的训练和优化中。

衍生相关工作

ImageNet 和 EWA 数据集的引入和应用催生了大量相关的经典工作。在图像分类领域，基于 ImageNet 数据集的研究工作如 AlexNet 和 ResNet 不仅在学术界引起了广泛关注，还推动了深度学习技术在工业界的应用。在极端天气分析领域，EWA 数据集的使用促进了深度学习在气候科学中的应用，如极端天气事件的检测和预测模型的发展。此外，这些数据集还激发了新的基准测试方法和评估指标的研究，如 HPC AI500 基准测试，进一步推动了高性能计算和人工智能领域的技术进步。

数据集最近研究

最新研究方向

在深度学习和高性能计算（HPC）的交叉领域，ImageNet和Extreme Weather Analytics (EWA)数据集的研究正朝着提升大规模分布式深度学习算法的效率和质量方向发展。最新的研究趋势集中在开发代表性、可重复性和简单性的HPC AI基准测试方法，以加速训练时间并达到最先进的质量。HPC AI500基准测试方法通过选择ImageNet和EWA数据集作为代表性工作负载，强调了在商业和科学计算领域中分布式深度学习的重要性。此外，研究还提出了新的度量标准——有效FLOPS（Valid FLOPS），该标准不仅关注系统的吞吐性能，还强调了目标质量的重要性，从而为HPC AI系统的评估提供了更为全面和客观的视角。

相关研究论文

• HPC AI500: Representative, Repeatable and Simple HPC AI Benchmarking

  中国科学院计算技术研究所 · 2021年