CBCL波士顿街景数据集

街景挑战框架是一个图像、注释、软件和物体检测性能测量的集合。 每张图片都是由DSC-F717相机拍摄的，地点在马萨诸塞州的波士顿及其周边。 然后对每张图片进行手工标注，用多边形围绕9个物体类别的每个例子，包括[汽车、行人、自行车、建筑物、树木、天空、道路、人行道和商店]。 这些图像的标注是在仔细检查下完成的，以确保物体总是以相同的方式被标注，考虑到遮挡和其他常见的图像变换。 StreetScenes标签也与LabelMe注释兼容，这里提供了一个一对一的转换工具。 关于数据收集的更多信息，请参见Stanely Bileschi的论文。 这个框架的目的是提供对一个完整的检测框架的模块化访问，以便我的开发可以在任何部分独立进行。 研究人员可以建立一个更好的学习架构或更好的功能，而不需要对系统的其他部分进行设计。 为了衡量StreetScenes挑战框架的性能，我们开发了三种独立的物体检测措施，即作物检测措施、点检测措施和边界框检测措施。 这些措施具有互补性，在其他措施没有意义的地方运行。 Object Detection Models Crop-Wise Object Detection Crop-Wise object detection is a simple and common way of measuring the power of an object detection system. In this method, small crops of positive and negative examples of the target object category are first extracted from the larger images. For instance, positive car images would contain nicely cropped images of cars, while negative car images would contain anything but cars. These images are represented mathematically somehow, e.g. with wavelets or histograms of gradients or whatever, and then a statistical learning machine is employed to learn a classifier between the two sets. In order to measure the efficacy of the learned detector, part of the training set is reserved to measure the performance (I prefer to use about one third). Repeating this training/testing split several times gives a statistically significant measure of crop-wise object detection. Point-Wise Object Detection Point-Wise object detection is similar to crop-wise object detection, except that rather than classifying boxes which fit around the object of interest, instead we classify points (and their neighborhoods) inside the object. In this method, a positive set and negative point set is selected (i.e. points inside and outside of the object). At each of these points, a mathematical feature is extracted, which in general depends on patterns of brightness and color in the neighborhood of the point. once these features have been extracted, learning and testing occur as in crop-wise object detection. Bounding Box-Wise Object Detection Bounding Box-Wise object detection the measure closest to actually running a useful object detection system on these types of scenes. In this method, an object detector is trained, as in crop-wise detection, but then applied to a reserved set of test images at multiple positions and scales. The response of the detector is fed to a local-neighborhood suppression algorithm, which outputs a set of positions and confidences within the test set for possible object existence. This set is then compared to the human benchmark positions, and detections which are close enough in position and scale are called true detections. Using this data, a precision-recall curve is drawn to measure the total system performance.

街景挑战框架（StreetScenes Challenge Framework）是图像、标注数据、配套软件及物体检测性能评估指标的集合。所有图像均由DSC-F717相机拍摄，拍摄地点位于美国马萨诸塞州波士顿市及其周边区域。随后对每张图像进行手工标注：使用多边形框选9类物体的每个实例，涵盖汽车、行人、自行车、建筑物、树木、天空、道路、人行道及商铺。标注过程经过严格审核，确保在考虑遮挡及其他常见图像变换的前提下，同类物体的标注方式保持一致。街景挑战框架的标注格式与LabelMe标注兼容，本数据集配套提供了一对一格式转换工具。如需了解数据收集的更多细节，请参阅Stanely Bileschi的相关论文。

本框架旨在提供完整检测框架的模块化访问接口，使得开发者可独立对框架的任意模块进行开发迭代。研究人员可在无需改动系统其他模块的前提下，构建更优的学习架构或特征提取方案。为评估街景挑战框架的性能，本框架开发了三类独立的物体检测评估指标，分别为逐作物检测（Crop-Wise Object Detection）指标、逐点检测（Point-Wise Object Detection）指标及边界框级检测（Bounding Box-Wise Object Detection）指标。三类指标具备互补性，可在其他指标无法适用的场景下发挥作用。

### 物体检测模型
#### 逐作物检测（Crop-Wise Object Detection）
逐作物检测是评估物体检测系统性能的一种简单且通用的方法。该方法首先从大图中提取目标物体类别的正、负样本图像块。例如，汽车类的正样本图像包含裁剪规整的汽车图像，而负样本图像则包含除汽车以外的任何内容。这些图像会通过某种数学方式进行表征，例如使用小波或梯度直方图等，随后利用统计学习机在两类样本集上训练分类器。为评估训练得到的检测器的效能，需预留部分训练集用于性能测试（作者建议预留约三分之一的训练集）。多次重复该训练-测试划分过程，可得到具有统计显著性的逐作物检测性能评估结果。

#### 逐点检测（Point-Wise Object Detection）
逐点检测与逐作物检测类似，不同之处在于：无需对围绕目标物体的边界框进行分类，而是对物体内部的点（及其邻域）进行分类。该方法会选取正、负点集（即物体内部和外部的点）。在每个点处提取数学特征，这类特征通常取决于该点邻域内的亮度与颜色分布模式。提取特征后，训练与测试流程与逐作物检测一致。

#### 边界框级检测（Bounding Box-Wise Object Detection）
边界框级检测是最贴近于在这类场景中实际运行实用物体检测系统的评估方式。该方法中，物体检测器的训练流程与逐作物检测一致，但随后会将检测器以多种位置和尺度应用于预留的测试图像集。检测器的输出结果会被送入邻域抑制算法，该算法会输出测试集中可能存在物体的位置与置信度集合。随后将该集合与人工标注的基准位置进行比对，位置与尺度足够接近的检测结果被视为真阳性检测。基于该数据可绘制精确率-召回率曲线，以此评估整个系统的性能。

搜集汇总

背景与挑战

背景概述

CBCL波士顿街景数据集是一个2.17G的街景图像集合，包含波士顿及其周边地区的手工标注图像，标注了9个物体类别。数据集提供了三种物体检测方法，旨在支持完整的检测框架开发。