DRIV100

DRIV100是由大阪大学创建的多领域数据集，用于评估真实世界场景下的语义分割领域适应技术。该数据集包含100个从互联网收集的道路场景视频，每个视频都有像素级标注，覆盖了多样化的场景和领域。数据集的创建过程涉及人工主观判断和基于现有道路场景数据集的异常分数评估。DRIV100旨在解决语义分割模型在不同目标域间的适应性问题，特别是在自动驾驶等应用场景中。

DRIV100 is a multi-domain dataset created by Osaka University for evaluating semantic segmentation domain adaptation techniques in real-world scenarios. It contains 100 road scene videos collected from the Internet, each with pixel-level annotations, covering diverse scenes and domains. The dataset's creation process involves human subjective judgment and anomaly score evaluation based on existing road scene datasets. DRIV100 aims to solve the domain adaptation problem of semantic segmentation models across different target domains, particularly in application scenarios such as autonomous driving.

搜集汇总

数据集介绍

构建方式

DRIV100数据集的构建方式独具匠心，旨在解决当前语义分割领域训练与测试环境之间的域偏问题。该数据集由100个从互联网上收集的真实道路场景视频组成，每个视频均包含像素级标注。数据集的选取基于两个标准：一是人类主观判断，二是基于现有道路场景数据集的异常得分。为了确保视频的多样性，数据集的一半视频是基于人类主观判断选择的，而另一半则是基于异常得分选择的。这种选择方式不仅增加了视频的多样性，而且有助于分析异常得分与域适应难度之间的关系。每个视频都提供了四个帧的像素级分割标注，为域适应提供了可比较的评估数据。

特点

DRIV100数据集具有以下几个显著特点：首先，视频来源广泛，涵盖了从郊区/乡村到自然环绕的道路等多种场景，确保了数据集的多样性。其次，数据集提供了像素级标注，为视频级别的域适应提供了可能，每个视频均可独立作为目标域进行评估。再次，数据集包含了不同场景下的标注数据，例如，DRIV100中包含未铺砌的道路场景，甚至完全没有人类建筑的自然场景，这与现有的城市场景数据集形成了鲜明对比。最后，数据集的标注质量与现有数据集相当，且类别定义一致，为研究者提供了高质量的研究资源。

使用方法

DRIV100数据集的使用方法包括但不限于以下几个方面：首先，数据集可用于评估无监督域适应方法在语义分割任务上的性能，特别是针对视频级别的域适应。其次，数据集可用于比较不同域适应方法在不同场景下的表现，例如，可以使用GTA5-to-DRIV100和GTA5-to-Cityscapes两种设置进行比较，以突出数据集的独特性。此外，数据集还可以用于分析域适应方法在不同场景下的难点和挑战，例如，可以通过比较不同方法在天空、植被和地形等类别的表现来分析方法的优劣。最后，数据集还可以用于开发新的域适应方法，例如，可以通过分析不同方法在异常视频上的表现来开发新的适应策略。

背景与挑战

背景概述

随着语义分割技术的进步，许多领域适应方法被提出以克服训练和部署环境之间的领域差距。然而，大多数先前的研究使用了有限的源/目标数据集组合，并且领域适应技术从未在更具挑战性和多样化的目标领域中彻底评估。这项工作提出了一个新的多领域数据集DRIV100，用于基准测试在野外道路场景视频上收集的互联网上的领域适应技术。该数据集由100个视频的像素级注释组成，这些视频根据两个标准进行选择，以覆盖多样化的场景/领域；人类的主观判断和一个基于现有道路场景数据集的异常分数。我们为每个视频提供多个手动标记的真实帧，从而能够对视频级领域适应进行彻底评估，其中每个视频独立地作为目标领域。使用该数据集，我们量化了最先进方法的领域适应性能，并阐明了领域适应技术的潜力和新颖挑战。

当前挑战

DRIV100数据集的主要挑战包括：1)解决领域问题的挑战，例如，DRIV100数据集解决的领域问题是在多个多样化的目标领域中基准测试领域适应技术；2)构建过程中所遇到的挑战，例如，选择具有高多样性的视频，并确保每个视频都独立地作为目标领域进行评估。

常用场景

经典使用场景

DRIV100数据集作为多领域数据集，其经典使用场景在于对现实世界道路场景视频中语义分割的领域自适应技术进行基准测试。该数据集由100个YouTube视频组成，涵盖了从郊区/农村地区到自然环绕的道路等多样化的场景和领域。每个视频都提供了像素级别的标注，允许对视频级别的无监督领域自适应进行广泛评估，其中每个视频单独作为目标领域。这种评估设置模拟了领域自适应最重要的实际应用场景之一，即使分割模型适应单个汽车或仪表盘摄像头。

解决学术问题

DRIV100数据集解决了语义分割领域中常见的领域偏置问题。在现实世界的应用中，训练环境和部署环境之间可能存在显著差异，这导致模型在新的、未见过的情况下表现不佳。DRIV100数据集通过提供多样化的目标视频/领域，使研究者能够评估领域自适应方法在现实世界场景中的性能，并揭示领域自适应技术的潜在挑战。此外，DRIV100数据集还强调了目标数据选择策略的重要性，并展示了如何利用异常分数来选择具有挑战性的测试用例。

衍生相关工作

DRIV100数据集的发布促进了领域自适应研究的发展，并衍生出了许多相关的工作。例如，一些研究者使用DRIV100数据集来评估和改进现有的领域自适应方法，而另一些研究者则使用该数据集来开发新的领域自适应算法。此外，DRIV100数据集还激发了研究者对目标数据选择策略的探索，并提出了基于异常分数等指标的数据选择方法。这些相关工作进一步推动了领域自适应技术的发展，并为语义分割在现实世界应用中的落地提供了重要的支持。