Hugging Face模型图集

Hugging Face模型图集是由耶路撒冷希伯来大学计算机科学与工程学院创建的一个初步图集，它展示了Hugging Face中记录的模型景观和演变，包含超过150万个模型。该图集以可视化的方式揭示了模型的复杂结构和演化过程，能够预测模型属性，并分析计算机视觉模型中的趋势。

The Hugging Face Model Atlas is a preliminary atlas created by the School of Computer Science and Engineering, Hebrew University of Jerusalem. It showcases the model landscape and evolution of models documented on Hugging Face, encompassing over 1.5 million models. Through visualizations, this atlas reveals the complex structures and evolutionary processes of these models, enabling the prediction of model attributes and the analysis of trends within computer vision models.

搜集汇总

数据集介绍

构建方式

Hugging Face模型图集是一个可视化模型库，它将模型视为图中的节点，并以有向边表示模型之间的转换关系（例如，微调）。构建该图集的过程涉及对Hugging Face模型库中记录的模型进行可视化，并分析模型之间的关系。通过这些可视化，可以揭示机器学习模型景观的复杂结构，并分析计算机视觉模型的最新趋势。为了创建图集，研究人员使用了模型权重作为每个模型的表示，并使用欧几里得距离来衡量模型之间的距离。然后，他们提出了一系列图集绘制规则，以识别和处理模型库中的特殊模式，例如重复、量化、检查点轨迹、超参数搜索和模型合并。

特点

Hugging Face模型图集具有以下特点：首先，它揭示了模型之间的复杂结构，包括模型的深度、分支和合并等关系。其次，它显示了模型之间的关系，包括微调、量化、剪枝和合并等。此外，该图集还可以用于预测模型的属性，例如任务、准确性和流行度。最后，该图集可以用于恢复被删除的模型，以保持模型图的完整性。

使用方法

使用Hugging Face模型图集的方法包括：首先，通过可视化模型之间的关系，可以分析模型训练的趋势和模式。其次，可以使用图集结构来预测缺失的模型属性，例如任务、准确性和流行度。此外，图集还可以用于恢复被删除的模型，以保持模型图的完整性。最后，可以使用图集来分析模型之间的关系，以发现模型之间的潜在联系和影响。

背景与挑战

背景概述

Hugging Face模型图集，由耶路撒冷希伯来大学计算机科学与工程学院的研究人员Eliahu Horwitz、Nitzan Kurer、Jonathan Kahana、Liel Amar和Yedid Hoshen创建，旨在探索和可视化大型模型仓库中的模型关系和演化。该数据集于2025年3月发布，通过将模型视为图中的节点，并以有向边表示模型之间的转换关系（如微调、量化等），提供了对模型景观和演化的直观展示。Hugging Face模型图集揭示了机器学习模型景观的复杂性和深度，并展示了计算机视觉模型中的趋势。例如，与Stable Diffusion相比，Llama模型区域具有更复杂的结构和更广泛的转换技术。此外，该图集还用于预测模型属性（如准确性）和分析计算机视觉模型中的趋势。然而，由于当前图集仍不完整，研究人员提出了一种方法来绘制未记录的区域，并使用高置信度的结构先验知识来准确地映射以前未记录的图集区域。

当前挑战

Hugging Face模型图集的构建和导航面临诸多挑战。首先，随着公开可用的神经网络数量的增加，搜索和分析大型模型仓库变得越来越重要。然而，由于大多数模型缺乏文档记录，绘制这样一个图集具有挑战性。其次，模型上传者经常不提供父模型信息，导致图集结构中存在大量未知区域。此外，模型图集的结构通常不是树形结构，而是有向无环图（DAG），这给图集的绘制带来了额外的复杂性。为了解决这个问题，研究人员提出了一种方法，该方法利用模型权重和时间动态来绘制图集结构，并通过识别和处理模型仓库中的特殊模式（如重复、量化、超参数搜索和合并）来提高绘制准确性。这种方法在真实世界数据集上取得了显著的性能提升，但仍然存在一些局限性，例如无法识别合并模型或预测其父模型，以及无法表示蒸馏模型之间的关系。

常用场景

经典使用场景

Hugging Face模型图集是一个可视化工具，用于探索和理解Hugging Face模型库中的模型演变和结构。该数据集以图的形式展示了模型之间的关系，其中节点代表模型，有向边表示模型之间的转换，例如微调。这种可视化可以帮助研究人员发现模型之间的联系，并了解不同模型之间的演变过程。

衍生相关工作

Hugging Face模型图集的提出和应用，推动了模型存储库研究的发展。相关研究包括对模型存储库中托管数据集的分析，以及更广泛的开发趋势的检查。此外，该数据集还为模型树恢复方法的发展提供了启示，这些方法将模型表示为节点，将它们的关系（例如微调）表示为边。

数据集最近研究

最新研究方向

Hugging Face模型图集的研究揭示了大型模型库中模型演化和趋势的复杂性。该研究不仅展示了模型图谱的深度和结构，还通过分析计算机视觉和自然语言处理模型的趋势，展示了不同模态之间的差异。此外，研究还展示了如何利用模型图谱结构预测模型属性，如任务和准确度，并通过观察模型在图谱中的最近邻来改进预测。然而，由于现有模型元数据的不完整性，图谱的完整映射仍然是一个挑战。为了解决这个问题，研究提出了一种基于现实世界模型训练实践的结构先验方法，以准确地映射之前未记录的图谱区域。这种方法通过识别模型关系中的常见模式，如复制、量化、超参数搜索和模型合并，有效地恢复了Hugging Face的图谱结构。这些发现为理解和利用大型模型库提供了有价值的见解，并为未来的研究和开发开辟了新的方向。

相关研究论文

• Charting and Navigating Hugging Face's Model Atlas

  耶路撒冷希伯来大学计算机科学与工程学院 · 2025年