有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
Outlier Exposure by Simple Transformations (OEST)|异常检测数据集|数据变换数据集
收藏arXiv2024-12-04 更新2024-12-06 收录
下载链接：
https://github.com/victor-yifanwu/Outlier-Exposure-by-Simple-Transformations
下载链接
链接失效反馈资源简介：
Outlier Exposure by Simple Transformations (OEST) 数据集由上海大学和复旦大学的研究团队创建，旨在通过简单的数据变换增强异常检测（OOD）。该数据集包含通过各种简单变换生成的样本，这些样本被视为“周边分布”（PD）数据，介于正常分布（ID）和异常分布（OOD）之间。创建过程涉及对ID样本进行旋转、模糊等变换，以生成PD数据。该数据集主要应用于深度学习模型的异常检测，旨在提高模型在开放世界场景中的鲁棒性和泛化能力。
提供机构：
上海大学计算机工程与科学学院
创建时间：
2024-12-04
AI搜集汇总
数据集介绍
构建方式
OEST数据集通过利用简单的数据变换生成外围分布（PD）数据，从而增强分布外（OOD）检测。具体而言，PD数据是通过对内部分布（ID）样本应用一系列简单的几何和外观变换生成的，这些变换包括裁剪、模糊、噪声、旋转、排列和Sobel滤波。这些变换旨在生成既不完全属于ID也不完全属于OOD的样本，从而在特征空间中形成ID和OOD样本之间的过渡区域。
特点
OEST数据集的主要特点在于其利用简单变换生成PD数据，这些数据在特征空间中形成了一个介于ID和OOD样本之间的过渡区域。这种设计使得模型能够在训练过程中建立一个能量屏障，从而更有效地区分ID和OOD样本。此外，OEST数据集的构建不依赖于真实的外部异常数据，减少了对外部数据的依赖性，增强了模型的泛化能力。
使用方法
使用OEST数据集进行分布外检测时，首先需要对预训练的分类器进行微调，以适应由简单变换生成的PD数据。微调过程中，模型通过最小化交叉熵损失和能量屏障损失来优化，从而在ID和PD数据之间建立一个能量屏障。在推理阶段，模型通过计算输入样本的能量值来判断其是否属于分布外样本，能量值高于预设阈值的样本被视为OOD样本。
背景与挑战
背景概述
Outlier Exposure by Simple Transformations (OEST) 数据集由上海大学和复旦大学的研究人员于2021年提出，旨在解决深度学习模型在识别分布外样本（Out-of-Distribution, OOD）时的鲁棒性问题。该数据集的核心研究问题是如何在不依赖手工构建的异常数据集或复杂数据增强的情况下，提升模型的OOD检测能力。OEST通过利用“周边分布”（Peripheral-Distribution, PD）数据，即通过简单数据变换生成的样本，来增强OOD检测。该数据集的提出对计算机视觉领域，特别是图像分类和OOD检测领域产生了重要影响，为模型在开放世界场景中的应用提供了新的思路。
当前挑战
OEST数据集面临的挑战主要包括两个方面：一是解决领域问题中的挑战，即如何有效区分训练分布内（In-Distribution, ID）和分布外（OOD）样本；二是在构建过程中遇到的挑战，如如何设计有效的数据变换以生成具有代表性的PD数据，以及如何确保这些数据能够真实反映OOD样本的特征。此外，OEST还需要克服现有OOD检测方法中依赖手工构建异常数据集的局限性，确保生成的PD数据能够有效替代这些手工构建的数据集，从而提升模型的泛化能力和鲁棒性。
常用场景
经典使用场景
Outlier Exposure by Simple Transformations (OEST) 数据集在深度学习模型的鲁棒性增强中发挥了重要作用。该数据集通过利用“周边分布”（PD）数据，即通过简单数据变换生成的样本，来提升模型对分布外（OOD）样本的检测能力。OEST 框架通过能量基模型（EBMs）研究 PD 数据，建立能量屏障，从而在训练中有效区分分布内（ID）和 OOD 样本。
衍生相关工作
基于 OEST 数据集，研究者们进一步开发了 OEST* 框架，通过引入能量屏障损失函数，显著提升了 OOD 检测的性能。此外，OEST 还激发了关于能量基模型在 OOD 检测中应用的深入研究，推动了相关领域的理论和实践进展。
数据集最近研究
最新研究方向
在深度学习模型的鲁棒性研究中，异常检测（Out-of-Distribution, OOD）检测是一个至关重要的方向。最近的研究聚焦于通过简单变换生成的外部数据（Outlier Exposure by Simple Transformations, OEST）来增强OOD检测的能力。OEST框架通过利用‘周边分布’（Peripheral-Distribution, PD）数据，即通过简单数据变换生成的样本，来替代手工挑选的异常数据，从而提高模型的鲁棒性和泛化能力。该方法结合能量模型（Energy-Based Models, EBMs），通过建立能量屏障（Energy Barrier）来区分分布内（In-Distribution, ID）和分布外（OOD）样本，从而在理论上和实验上都取得了显著的改进。OEST不仅在近OOD和远OOD检测任务中表现出色，还显著减少了计算资源的消耗，为开放世界的目标检测开辟了新的道路。
相关研究论文
- 1Revisiting Energy-Based Model for Out-of-Distribution Detection上海大学计算机工程与科学学院 · 2024年
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
学生课堂行为数据集 (SCB-dataset3)
学生课堂行为数据集(SCB-dataset3)由成都东软学院创建，包含5686张图像和45578个标签，重点关注六种行为：举手、阅读、写作、使用手机、低头和趴桌。数据集覆盖从幼儿园到大学的不同场景，通过YOLOv5、YOLOv7和YOLOv8算法评估，平均精度达到80.3%。该数据集旨在为学生行为检测研究提供坚实基础，解决教育领域中学生行为数据集的缺乏问题。
arXiv 收录
中国交通事故深度调查（CIDAS）数据集
交通事故深度调查数据通过采用科学系统方法现场调查中国道路上实际发生交通事故相关的道路环境、道路交通行为、车辆损坏、人员损伤信息，以探究碰撞事故中车损和人伤机理。目前已积累深度调查事故10000余例，单个案例信息包含人、车 、路和环境多维信息组成的3000多个字段。该数据集可作为深入分析中国道路交通事故工况特征，探索事故预防和损伤防护措施的关键数据源，为制定汽车安全法规和标准、完善汽车测评试验规程、
北方大数据交易中心 收录
CatMeows
该数据集包含440个声音样本，由21只属于两个品种（缅因州库恩猫和欧洲短毛猫）的猫在三种不同情境下发出的喵声组成。这些情境包括刷毛、在陌生环境中隔离和等待食物。每个声音文件都遵循特定的命名约定，包含猫的唯一ID、品种、性别、猫主人的唯一ID、录音场次和发声计数。此外，还有一个额外的zip文件，包含被排除的录音（非喵声）和未剪辑的连续发声序列。
huggingface 收录
Wind Turbine Data
该数据集包含风力涡轮机的运行数据，包括风速、风向、发电量等参数。数据记录了多个风力涡轮机在不同时间点的运行状态，适用于风能研究和风力发电系统的优化分析。
www.kaggle.com 收录
中国1km分辨率逐月降水量数据集（1901-2023）
该数据集为中国逐月降水量数据，空间分辨率为0.0083333°（约1km），时间为1901.1-2023.12。数据格式为NETCDF，即.nc格式。该数据集是根据CRU发布的全球0.5°气候数据集以及WorldClim发布的全球高分辨率气候数据集，通过Delta空间降尺度方案在中国降尺度生成的。并且，使用496个独立气象观测点数据进行验证，验证结果可信。本数据集包含的地理空间范围是全国主要陆地（包含港澳台地区），不含南海岛礁等区域。为了便于存储，数据均为int16型存于nc文件中，降水单位为0.1mm。 nc数据可使用ArcMAP软件打开制图; 并可用Matlab软件进行提取处理，Matlab发布了读入与存储nc文件的函数，读取函数为ncread，切换到nc文件存储文件夹，语句表达为：ncread (‘XXX.nc’,‘var’, [i j t],[leni lenj lent])，其中XXX.nc为文件名，为字符串需要’’；var是从XXX.nc中读取的变量名，为字符串需要’’；i、j、t分别为读取数据的起始行、列、时间，leni、lenj、lent i分别为在行、列、时间维度上读取的长度。这样，研究区内任何地区、任何时间段均可用此函数读取。Matlab的help里面有很多关于nc数据的命令，可查看。数据坐标系统建议使用WGS84。
国家青藏高原科学数据中心 收录