WS2 (Weakly Supervised segmentation for Waste-Sorting)

WS2数据集是第一个多视图数据集，由超过11000个高分辨率视频帧组成，这些帧是在传送带上捕获的，包括“之前”和“之后”的图像。该数据集由意大利Verderio的一个真实世界塑料分类设施收集，用于支持弱监督分割研究。数据集包含一个序列，其中包括在人类操作员从传送带上选择半透明彩色PET物体之前和之后的视频帧。该数据集旨在促进研究，以开发基于深度学习的自动化分类和质量控制解决方案。The WS2 dataset is the first multi-view dataset composed of over 11,000 high-resolution video frames captured on a conveyor belt, including "before" and "after" images. This dataset was collected from a real-world plastic sorting facility in Verderio, Italy, to support weakly supervised segmentation research. It encompasses a sequence of video frames captured both before and after a human operator selects translucent colored PET objects from the conveyor belt. This dataset is designed to advance research on developing deep learning-based automated classification and quality control solutions.

搜集汇总

数据集介绍

构建方式

WS2数据集构建采用工业场景下的多视角视频采集策略，在意大利Verderio的实际塑料分拣设施中部署两台高分辨率相机，分别捕捉人类操作员干预前后的传送带状态。数据采集过程严格控制环境变量，相机固定于距传送带一米高的天花板支架，以12fps帧率捕获5472×3648像素图像，后统一裁剪为1000×1000像素以排除操作员工作区干扰。最终整合11060帧视频数据，其中训练集包含9563帧未标注图像，测试集1500帧配备像素级标注，标注过程结合SAM模型生成实例掩码并经专业人工 refinement，确保标注精度与一致性。

特点

WS2作为首个面向工业废料分拣的弱监督分割多视角视频数据集，其核心特征体现在三方面：一是提供“干预前-干预后”图像对构成的弱监督信号，通过人类操作员移除动作隐含标注目标物体；二是涵盖半透明彩色PET材料与混合塑料的细粒度分拣场景，区别于传统粗粒度材料分类；三是引入时序连续性，视频帧序列支持时空一致性算法验证。数据集规模超越现有同类数据四倍以上，且测试集严格隔离标注数据以避免评估偏差，为弱监督方法提供高可靠性基准。

使用方法

该数据集支持端到端弱监督分割流程：首先利用前后图像对训练辅助分类器生成显著图，突出干预前图像中的待移除物体；继而通过SAM模型增强模块细化显著图，生成伪掩码标签；最终训练全监督分割网络。使用者需遵循三阶段范式：第一阶段采用背景消除三分类策略训练分类器以抑制背景偏差；第二阶段融合时序信息（如POF-CAM方法）提升显著图空间一致性；第三阶段借助SegFormer等架构在伪标签上训练最终分割模型。评估时需严格区分训练测试集，并在测试集上计算mIoU指标验证性能。

背景与挑战

背景概述

WS2数据集由意大利米兰理工大学与法国EURECOM研究团队于2025年联合发布，专注于工业废物分拣场景下的弱监督语义分割研究。该数据集通过双视角摄像系统捕获传送带上人工分拣操作前后的11000余帧高分辨率视频序列，旨在利用操作员移除动作产生的隐含监督信号，突破全监督方法对像素级标注的依赖。作为首个支持时序分析的工业级弱监督分割数据集，WS2为自动化分拣系统提供了关键研究基础，推动了计算机视觉在工业质量控制领域的应用范式转变。

当前挑战

WS2需解决废物分拣中细粒度物料分割的核心挑战：一是目标物体在高度遮挡环境下的精确定位与边界识别，二是视觉相似材料（如半透明PET与其他塑料）的区分难题。构建过程中面临双重挑战：其一是环境偏差消除，因前后帧背景光照差异导致分类器易学习背景特征而非目标特征；其二是时序对齐难题，操作员分拣动作会改变保留物体的空间位置，使直接图像差分方法失效，需开发融合时序一致性与背景解耦的创新学习框架。

常用场景

经典使用场景

在工业废物分拣领域，WS2数据集通过采集传送带在人工操作前后的高分辨率视频帧序列，为弱监督分割方法提供了独特的训练范式。该数据集最经典的应用场景是训练基于显著性图的语义分割模型，利用操作员移除动作隐含的监督信号自动识别并定位待剔除的废弃物，无需任何像素级标注即可实现精准分割。

实际应用

该数据集直接服务于现代化回收工厂的智能分拣系统，通过部署双摄像头采集传送带操作前后的视频流，实现对塑料废弃物中半透明彩色PET材料的自动识别。实际应用中，该系统可实时监测操作员分拣效果，提供纠正反馈，逐步替代人工完成高精度分拣任务，提升生产效率并降低劳动风险。

衍生相关工作

WS2数据集催生了多项基于时序一致性的弱监督分割创新工作，例如POF-CAM方法通过光流增强显著性图生成质量。其背景去除三分类策略启发了后续研究对环境偏置的深入探索，相关成果已延伸至工业质检、医疗影像分析等领域，形成以自监督学习为核心的技术演进路线。