Caltech101

Caltech101数据集是一个包含101种不同物体的图像数据集，用于图像分类任务。它是MTEB（大规模文本嵌入基准）的一部分，专注于百科全书式领域。数据集是单语的，使用英语。它包括训练和测试分割，每个分割都有特定的文件路径。测试分割的详细统计数据包括样本数量、唯一标签数量和图像尺寸。可以使用mteb库对数据集进行评估，并且包括数据集和mteb基准的引用信息。

The Caltech101 dataset is an image dataset consisting of 101 distinct object categories, tailored for image classification tasks. It is part of the MTEB (Massive Text Embedding Benchmark) and focuses on the encyclopedic domain. This is a monolingual dataset using English. It includes training and test splits, each with a specific file path. Detailed statistics for the test split cover the number of samples, the count of unique labels, and image dimensions. The dataset can be evaluated using the MTEB library, and citation information for both the dataset itself and the MTEB benchmark is included.

原始信息汇总

Caltech101 数据集概述

数据集基本信息

• 语言: 英文 (eng)
• 多语言性: 单语言 (monolingual)
• 许可: 未知 (unknown)
• 注释创建方式: 衍生 (derived)
• 任务类别: 图像分类 (image-classification)
• 标签:
  • mteb
  • image

数据集结构

• 配置名称: default
• 数据文件:
  • 训练集: data/train-*
  • 测试集: data/test-*

数据集特征

• 特征:
  • image: 图像类型
  • label: 类别标签 (共102个类别，从0到101)

数据集统计

• 训练集:
  • 样本数量: 3060
  • 大小: 44260545.38 字节
• 测试集:
  • 样本数量: 6084
  • 大小: 74371922.14 字节
• 下载大小: 137964637 字节
• 数据集总大小: 118632467.52000001 字节

评估方法

使用以下代码评估嵌入模型在该数据集上的表现： python import mteb

task = mteb.get_tasks(["Caltech101"]) evaluator = mteb.MTEB(task)

model = mteb.get_model(YOUR_MODEL) evaluator.run(model)

引用

• 原始论文: bibtex @inproceedings{1384978, author = {Li Fei-Fei and Fergus, R. and Perona, P.}, booktitle = {2004 Conference on Computer Vision and Pattern Recognition Workshop}, doi = {10.1109/CVPR.2004.383}, keywords = {Bayesian methods;Testing;Humans;Maximum likelihood estimation;Assembly;Shape;Machine vision;Image recognition;Parameter estimation;Image databases}, number = {}, pages = {178-178}, title = {Learning Generative Visual Models from Few Training Examples: An Incremental Bayesian Approach Tested on 101 Object Categories}, volume = {}, year = {2004}, }

• MTEB相关论文: bibtex @article{enevoldsen2025mmtebmassivemultilingualtext, title={MMTEB: Massive Multilingual Text Embedding Benchmark}, author={Kenneth Enevoldsen and Isaac Chung and Imene Kerboua and Márton Kardos and Ashwin Mathur and David Stap and Jay Gala and Wissam Siblini and Dominik Krzemiński and Genta Indra Winata and Saba Sturua and Saiteja Utpala and Mathieu Ciancone and Marion Schaeffer and Gabriel Sequeira and Diganta Misra and Shreeya Dhakal and Jonathan Rystrøm and Roman Solomatin and Ömer Çağatan and Akash Kundu and Martin Bernstorff and Shitao Xiao and Akshita Sukhlecha and Bhavish Pahwa and Rafał Poświata and Kranthi Kiran GV and Shawon Ashraf and Daniel Auras and Björn Plüster and Jan Philipp Harries and Loïc Magne and Isabelle Mohr and Mariya Hendriksen and Dawei Zhu and Hippolyte Gisserot-Boukhlef and Tom Aarsen and Jan Kostkan and Konrad Wojtasik and Taemin Lee and Marek Šuppa and Crystina Zhang and Roberta Rocca and Mohammed Hamdy and Andrianos Michail and John Yang and Manuel Faysse and Aleksei Vatolin and Nandan Thakur and Manan Dey and Dipam Vasani and Pranjal Chitale and Simone Tedeschi and Nguyen Tai and Artem Snegirev and Michael Günther and Mengzhou Xia and Weijia Shi and Xing Han Lù and Jordan Clive and Gayatri Krishnakumar and Anna Maksimova and Silvan Wehrli and Maria Tikhonova and Henil Panchal and Aleksandr Abramov and Malte Ostendorff and Zheng Liu and Simon Clematide and Lester James Miranda and Alena Fenogenova and Guangyu Song and Ruqiya Bin Safi and Wen-Ding Li and Alessia Borghini and Federico Cassano and Hongjin Su and Jimmy Lin and Howard Yen and Lasse Hansen and Sara Hooker and Chenghao Xiao and Vaibhav Adlakha and Orion Weller and Siva Reddy and Niklas Muennighoff}, publisher = {arXiv}, journal={arXiv preprint arXiv:2502.13595}, year={2025}, url={https://arxiv.org/abs/2502.13595}, doi = {10.48550/arXiv.2502.13595}, }

测试集统计详情

• 样本数量: 6084
• 唯一标签数量: 102
• 图像宽度:
  • 最小值: 80
  • 平均值: 311.7217291255753
  • 最大值: 3481
• 图像高度:
  • 最小值: 101
  • 平均值: 241.84418145956607
  • 最大值: 3999

搜集汇总

数据集介绍

构建方式

Caltech101数据集作为计算机视觉领域的经典基准，其构建过程体现了严谨的学术规范。该数据集通过系统采集101类常见物体的图像样本，每类包含40至800幅经过严格筛选的图片，确保样本覆盖物体在不同角度、光照条件下的形态变化。原始数据经由专业标注团队进行类别标注与质量校验，并采用分层抽样策略划分为训练集（3060样本）与测试集（6084样本），保持类别分布的均衡性。数据集构建过程中特别注重样本多样性，涵盖从乐器到野生动物的广泛类别。

特点

该数据集最显著的特征在于其精细的类别体系与高质量的图像样本。101个物体类别经过专家精心设计，既包含日常物品（如相机、椅子），也涵盖特殊场景（如背景图像、野生动物），每幅图像均以高分辨率保存，平均尺寸达312×242像素。数据分布呈现真实世界的长尾特性，其中飞机类样本达770幅，而部分稀有类别如望远镜仅含3幅样本。这种非均衡分布为研究小样本学习提供了理想条件。所有图像均经过标准化处理，去除噪声与冗余信息，确保数据质量的一致性。

使用方法

使用该数据集时，建议通过HuggingFace的MTEB框架进行模型评估。典型流程包括：导入mteb库加载Caltech101任务，初始化评估器后传入自定义的嵌入模型。评估过程自动完成图像特征提取、分类器训练与指标计算，输出包括准确率等性能指标。研究人员亦可直接访问原始图像数据，通过PyTorch或TensorFlow构建自定义管道。需注意遵循数据拆分规范，训练集与测试集的比例为1:2，这种特殊设计旨在更好评估模型泛化能力。对于跨领域研究，可利用其丰富的类别层次结构进行细粒度分析。

背景与挑战

背景概述

Caltech101数据集由Li Fei-Fei、Rob Fergus和Pietro Perona于2004年创建，旨在解决计算机视觉领域中的多类别图像分类问题。该数据集包含101个不同类别的物体图像，每个类别包含40至800个样本，总计约9000张图片。其创新性在于采用增量贝叶斯方法，探索在有限训练样本下构建生成式视觉模型的可能性。作为早期细粒度图像分类的基准数据集，Caltech101为卷积神经网络在物体识别领域的发展提供了重要实验平台，推动了迁移学习、特征提取等研究方向的发展。

当前挑战

该数据集面临的领域挑战主要体现在细粒度分类任务中，由于部分类别间存在高度视觉相似性（如不同品种动物），传统特征描述符难以捕捉细微差异。构建过程中的挑战包括：样本分布不均衡问题突出，如'背景_google'类别包含437个样本，而'扳手'类别仅有9个样本；图像尺寸和比例差异显著，最小图像80×101像素，最大达到3481×3999像素；部分类别样本量过少导致模型泛化能力受限。这些特性使得该数据集成为评估模型鲁棒性和小样本学习能力的有效基准。

常用场景

经典使用场景

在计算机视觉领域，Caltech101数据集作为经典的多类别图像分类基准，被广泛用于评估机器学习模型的泛化能力。该数据集包含101类物体的图像，涵盖了从日常物品到自然生物的多样化样本，为研究者提供了丰富的视觉特征学习素材。其均衡的类别分布和清晰的标注体系，使其成为验证新算法在有限样本下分类性能的理想测试平台。

解决学术问题

该数据集有效解决了小样本学习场景下的模型泛化难题，通过提供每类别约40-800张图像的梯度样本规模，为研究贝叶斯增量学习、迁移学习等算法提供了实证基础。其构建的101类细粒度分类体系，推动了特征提取、模型压缩等方向的发展，对计算机视觉从理论到应用的转化具有里程碑意义。

衍生相关工作

基于该数据集衍生的经典研究包括Li Fei-Fei等人提出的增量贝叶斯学习框架，以及后续发展的层次化视觉特征表示方法。在MTEB等现代评估体系中，Caltech101被重构为嵌入表示质量测试任务，催生了对比学习、元学习等新范式在跨模态检索中的应用验证。