Custom Dataset
收藏github2023-12-21 更新2024-05-31 收录
下载链接：
https://github.com/wudi-ldd/Fine-Tuning-SAM
下载链接
链接失效反馈官方服务：
资源简介：
该数据集用于微调SAM模型，特别适用于图像中目标特定训练的复杂场景。它专注于排除非目标区域，以实现更精确的模型行为。
This dataset is designed for fine-tuning the SAM (Segment Anything Model) model, particularly suited for complex scenarios involving target-specific training in images. It focuses on excluding non-target regions to achieve more precise model behavior.
创建时间：
2023-12-20
原始信息汇总
数据集准备与使用概述
数据集结构
- 原始图像与标注文件存储：将标注过的图像及其对应的JSON文件存储在
datasetsefore目录下。 - 数据转换：
- 使用
json_to_dataset.py或json_to_dataset_only.py处理标注文件，生成PNG格式的标注掩码和JPEG格式的原始图像。 - 原始图像存放于
datasetsJPEGImages，JSON文件存放于datasetsjson，标注掩码存放于datasetsSegmentationClass。
- 使用
数据集预处理
- 图像与标注文件的尺寸调整：使用
resize.py和json_scaling.py调整图像和JSON文件的尺寸，确保一致性，存放于VOCdevkitVOC2007相关目录。 - 数据集划分：通过
voc_annotation.py将数据集划分为训练集和验证集，结果存放于VOCdevkitVOC2007ImageSetsSegmentation。
模型训练配置
- 训练文件配置：
- 优化器选择：
optimizer_type = "adam"。 - 模型类型：
model_type = vit_h。 - 模型路径：
model_path = "checkpoint/sam_vit_h_4b8939.pth"，需从SAM GitHub Repository下载。 - 训练迭代次数：
epoch = 200。 - 初始学习率：
Init_lr = 1e-5。 - 模型保存频率：
save_period = 10。 - 训练结果保存目录：
save_dir = logs。 - 训练数据集路径：
train_dataset_path = VOCdevkit/VOC2007。
- 优化器选择：
模型预测
- 预测执行：使用
predict.py进行模型预测。- 预测数据集路径：
test_dataset_path = img。 - 目标类别指定：
label_filter=pore。 - 测试不同边界框尺寸：设置
min_scale = 1和max_scale = 1。 - 预测结果存放于
img_out。
- 预测数据集路径：
模型评估
- 评估执行：运行
Metric Calculation.py计算评估指标，测试图像的真实掩码位于img est，预测结果位于img_out。
附加工具
extract_matching_images.py：根据txt文件列表从文件夹中提取图像。convert_labels_color.py：调整训练掩码颜色与预测掩码颜色一致。
搜集汇总
数据集介绍
构建方式
Custom Dataset的构建过程围绕图像分割任务展开，首先将标注图像及其对应的JSON文件存储在`datasets\before`文件夹中。通过执行`json_to_dataset.py`或`json_to_dataset_only.py`脚本，将图像和标注转换为PNG格式的语义分割掩码和JPEG格式的原始图像。随后，利用`resize.py`和`json_scaling.py`脚本对图像、掩码和JSON标注进行尺寸归一化，确保数据一致性。最后，通过`voc_annotation.py`脚本将数据集划分为训练集和验证集，为模型训练提供基础。
使用方法
使用Custom Dataset时，首先需将标注图像和JSON文件存储在指定文件夹中，并通过脚本进行格式转换和尺寸归一化。随后，利用`voc_annotation.py`脚本划分训练集和验证集。在模型训练阶段，通过修改`train.py`文件中的参数，如优化器类型、模型路径和训练迭代次数等，启动训练过程。训练完成后，使用`predict.py`脚本进行预测，并通过`Metric Calculation.py`脚本评估模型性能。
背景与挑战
背景概述
Custom Dataset 是为微调 Segment Anything Model (SAM) 而设计的专用数据集，旨在解决复杂场景下的目标特定训练问题。该数据集由研究人员在2023年创建，主要用于图像分割任务，特别是在排除非目标区域的同时，提升模型在特定目标上的精确度。通过提供详细的图像注释和相应的JSON文件，Custom Dataset 为研究人员提供了一个灵活的工具，能够有效支持SAM模型的微调过程。该数据集的推出不仅推动了图像分割领域的技术进步，还为处理复杂场景下的目标识别问题提供了新的解决方案。
当前挑战
Custom Dataset 在构建和应用过程中面临多重挑战。首先，图像分割任务本身具有较高的复杂性，尤其是在处理多目标、遮挡或背景复杂的场景时，模型需要具备极高的鲁棒性和精确度。其次，数据集的构建过程中，图像尺寸的不一致性可能导致注释掩码与原始图像之间的错位，进而影响模型的训练效果。此外，数据集的划分与标注质量直接影响模型的性能，如何确保数据的高质量和一致性是构建过程中的一大难题。最后，模型的微调过程涉及大量超参数的选择与优化，如何在有限的计算资源下高效完成训练，也是研究人员需要克服的技术挑战。
常用场景
经典使用场景
Custom Dataset 主要用于图像分割领域，特别是在需要对特定目标进行精细化分割的场景中。通过微调 Segment Anything Model (SAM)，研究人员能够针对复杂图像中的特定目标进行训练，从而排除非目标区域的干扰，提升模型的精确度。该数据集的使用场景涵盖了医学影像分析、自动驾驶中的物体识别以及卫星图像处理等多个领域。
解决学术问题
Custom Dataset 解决了图像分割领域中目标区域与非目标区域难以区分的问题。通过提供精确的标注数据和微调机制，该数据集帮助研究人员优化模型的分割性能，特别是在目标区域复杂且背景干扰较大的情况下。其意义在于推动了图像分割技术的进步，为后续研究提供了高质量的数据支持。
实际应用
在实际应用中，Custom Dataset 被广泛用于医学影像分析，如肿瘤区域的精确分割；自动驾驶领域中的道路标志和行人识别；以及卫星图像中的建筑物和植被分类。这些应用场景要求模型具备高精度的分割能力，而 Custom Dataset 通过微调 SAM 模型，显著提升了模型在实际任务中的表现。
数据集最近研究
最新研究方向
在计算机视觉领域，Custom Dataset的引入为Segment Anything Model (SAM)的微调提供了新的研究方向。该数据集通过精确的标注和复杂的图像处理流程，使得模型能够在特定目标训练中排除非目标区域，从而提升模型的精确度。当前研究热点集中在如何优化数据预处理流程，特别是在图像尺寸归一化和标注文件缩放方面，以确保训练过程中图像与标注的精确对齐。此外，研究还探讨了如何通过调整优化器类型、学习率和模型保存频率等参数，进一步提升模型的训练效率和预测准确性。这些研究不仅推动了SAM模型在复杂场景中的应用，也为图像分割领域的技术进步提供了重要支持。
以上内容由遇见数据集搜集并总结生成
