bethgelab/frequency_determines_performance

该数据集包含频率估计结果和标记样本，以及构建的字典和其他预训练和下游数据工件。频率估计结果和标记样本存储在`counts_and_indices.zip`文件中，而字典和其他数据工件则以分卷压缩文件的形式发布，用户需要下载并手动合并这些分卷文件以重建原始的110GB大小的压缩文件。合并后，用户可以通过比较MD5哈希值来验证文件的完整性。该数据集包含频率估计结果和标记样本，以及构建的字典和其他预训练和下游数据工件。频率估计结果和标记样本存储在`counts_and_indices.zip`文件中，而字典和其他数据工件则以分卷压缩文件的形式发布，用户需要下载并手动合并这些分卷文件以重建原始的110GB大小的压缩文件。合并后，用户可以通过比较MD5哈希值来验证文件的完整性。

原始信息汇总

数据集概述

许可证

• 类型: MIT

任务类别

• 类别:
  • 零样本分类
  • 特征提取

语言支持

• 语言: 英语

数据集大小

• 大小: 小于1千

数据集内容

• 频率估计结果和标记样本: counts_and_indices.zip 包含所有结果的JSON文件（针对仅图像、仅文本和图像-文本搜索的估计频率）以及标记给每个概念的样本索引，适用于LAION400m/LAION-Aesthetics数据集。

• 构建的字典和其他预训练及下游数据制品: 由于所有数据制品的巨大尺寸，我们发布字典和其他特征制品为分割的文件，总大小为110GB，分别命名为features_zip_part_aa, features_zip_part_ab, 和 features_zip_part_ac。下载各个分割文件后，需手动合并以重建原始zip文件。

文件验证

• 合并后的验证: 合并文件后，通过比较md5sum哈希值来验证文件传输的正确性。正确的哈希值应为：11f6339df3206257efdfc4a54dd7ca60 features.zip

搜集汇总

数据集介绍

构建方式

该数据集基于LAION400m与LAION-Aesthetics数据集构建，通过图像、文本及图文联合搜索的方式，对每个概念进行频率估计，并将结果以JSON格式存储于`counts_and_indices.zip`文件中。同时，数据集还提供了经过标注的样本索引，以明确各概念对应的具体数据。为便于大规模分发，构建的词典及其他预训练与下游任务特征数据被分割为三个约110GB的压缩文件（`features_zip_part_aa`、`features_zip_part_ab`、`features_zip_part_ac`），用户需通过命令行工具手动合并还原。

特点

该数据集的核心特点在于其系统性揭示了频率对模型性能的决定性影响。它提供了详尽的频率估计结果，覆盖图像、文本及图文多模态搜索场景，为研究数据分布与模型行为之间的关系提供了坚实基础。此外，数据集包含了丰富的特征词典和预训练相关产物，支持零样本分类与特征提取任务。其数据规模虽小（n<1K），但通过压缩分片形式降低了传输门槛，同时保留了完整的可验证性，通过MD5校验确保数据完整性。

使用方法

用户首先需从HuggingFace页面下载所有分片文件，然后通过`cat`命令合并为完整的`features.zip`压缩包，并使用`md5sum`命令验证其哈希值是否匹配指定值。解压后，可获取JSON格式的频率估计结果与样本索引，直接用于零样本分类或特征提取实验。详细的实验复现流程与代码示例，请参考随附的GitHub仓库，其中提供了数据加载、模型评估及结果分析等完整指导。

背景与挑战

背景概述

在视觉与语言多模态学习领域，数据分布中的频率偏差对模型泛化性能的影响日益受到关注。由柏林工业大学机器学习实验室（bethgelab）主导，于近期发布的“frequency_determines_performance”数据集，旨在系统探究样本出现频率如何决定模型在零样本分类与特征提取任务中的表现。该研究团队基于LAION400M与LAION-Aesthetics大规模数据集，通过统计图像、文本及图文搜索中的频率分布，构建了带有频率标签的样本索引。这一开创性工作揭示了频率偏差作为模型性能瓶颈的关键作用，为理解多模态预训练模型的鲁棒性提供了全新视角，并对后续数据采样策略与训练算法的优化产生了深远影响。

当前挑战

该数据集所解决的领域核心挑战在于：多模态模型中样本频率的极端不均衡导致模型对罕见概念学习不足，而高频概念则可能引发过拟合，进而损害零样本泛化能力。构建过程中，团队面临双重技术难题：其一，需在LAION400M等海量数据中高效统计每个概念在图像、文本及多模态检索下的出现频率，这涉及对超大规模索引的分布式处理与内存优化；其二，频率估计的准确性依赖于概念标签的语义消歧，例如同义词或多义词的合并需依赖人工标注与聚类算法，而跨模态频率的联合统计进一步增加了计算复杂度。此外，数据制品（如特征字典）因体积庞大（超110GB），需拆分为多个压缩包并确保传输完整性，这对数据分发与复现研究构成了工程挑战。

常用场景

经典使用场景

在视觉与语言多模态学习的前沿探索中，bethgelab/frequency_determines_performance数据集以其对概念频率的精准标注，成为研究模型性能与数据分布关系的关键工具。该数据集最经典的使用场景在于评估和解释模型在零样本分类与特征提取任务中的表现差异，通过提供LAION-400M与LAION-Aesthetics数据集中各概念的频率估计结果及标签索引，研究者得以系统性地分析模型对高频与低频概念的处理能力，从而揭示频率如何决定模型泛化边界的深层机制。

解决学术问题

该数据集精准地回应了多模态模型研究中一个悬而未决的核心学术问题：训练数据中概念的频率分布如何影响模型在下游任务中的表现。通过提供细粒度的频率标签与结构化词典，它使得研究者能够量化地探讨模型对长尾概念的学习瓶颈，并验证诸如对比学习与特征对齐等方法在缓解频率偏差方面的有效性。这一数据资源的诞生，不仅为理解模型鲁棒性与公平性提供了实证基础，更推动了关于数据驱动与模型设计协同优化的理论构建。

衍生相关工作

围绕bethgelab/frequency_determines_performance数据集，衍生了一系列具有深远影响的经典工作。其中，研究者基于其频率标签构建了频率感知的预训练策略，如通过重采样或对比学习中的频率加权机制来提升模型对长尾概念的表示能力。另一项重要突破是在模型评估领域，该数据集催生了频率分层的基准测试方法，使得模型性能的评估不再局限于平均指标，而是能够细致刻画其在不同频率区间上的表现。此外，该数据集的词典与特征构件还被广泛用于多模态特征解耦与因果推断研究，为探索模型内部表示与数据分布之间的因果关系开辟了新路径。