Racer Number Dataset (RND) 和 Muddy Racer re-iDentification Dataset (MUDD)

本研究介绍了两个新的挑战性真实世界数据集：Racer Number Dataset (RND) 和 Muddy Racer re-iDentification Dataset (MUDD)，旨在突出当前方法的不足并推动极端条件下OCR和人员再识别（ReID）的进步。这两个数据集包含超过6,300张在越野比赛中拍摄的图像，展示了多种因素，如泥浆、复杂姿态和运动模糊，这些因素甚至削弱了现代视觉系统的能力。RND包含2,411张图像，展示了参与比赛的骑手，每张图像都标注了可见骑手号码的边界框和数字文本转录。MUDD包含3,906张图像，捕捉了150名骑手在10个不同的越野赛事中的表现，每个骑手裁剪都标注了唯一的身份标签。这些数据集的应用领域包括精确的照片搜索、体育分析、自动计时和评分等，旨在解决在极端环境中准确识别骑手和检测赛车号码的问题。This study introduces two novel challenging real-world datasets: the Racer Number Dataset (RND) and the Muddy Racer re-identification Dataset (MUDD), which aim to highlight the limitations of current approaches and advance the development of OCR and person re-identification (ReID) under extreme conditions. These two datasets contain over 6,300 images captured during off-road races, which feature various challenging factors such as mud, complex poses and motion blur—factors that can even degrade the performance of modern vision systems. RND consists of 2,411 images showing race riders, with each image annotated with bounding boxes and digital text transcriptions of the visible rider numbers. MUDD includes 3,906 images capturing 150 riders across 10 distinct off-road racing events, and each cropped rider image is annotated with a unique identity label. The application scenarios of these datasets cover precise photo search, sports analytics, automatic timing and scoring, among others, and they are designed to address the challenges of accurately identifying riders and detecting race numbers in extreme environments.

搜集汇总

数据集介绍

构建方式

在越野摩托车赛事的真实场景中，图像数据源自专业体育摄影师在50余场不同比赛中的拍摄，涵盖广泛的地理位置与多种高端相机。Racer Number Dataset (RND) 包含2,411张图像，标注了5,578个车手号码的边界框与文本转录，仅标注人类可辨识的文本，模糊或完全遮挡的号码则被忽略。Muddy Racer re-iDentification Dataset (MUDD) 则包含3,906张图像，涵盖150名车手在10场赛事中的身份，利用YOLOX检测人物边界框后由人工标注，并借助预训练模型进行初步聚类以提高标注效率。两个数据集均按72%、8%、20%的比例划分为训练集、验证集和测试集。

特点

这两个数据集以其极端的真实世界挑战性著称，集中体现了现有视觉系统在非受控环境下的脆弱性。数据集中高达44%的图像存在泥浆遮挡，另有复杂姿态（如跳跃、摔倒）、运动模糊、眩光、阴影及低分辨率等干扰因素。RND中车手号码位置多样，可能出现在摩托车前侧、头盔或背心上，且同一车手的不同号码可能不一致。MUDD则展现了高类内变异与低类间变异，泥浆、装备更换和事故导致的衣物破损使身份匹配极具难度，这些特点共同构成了对OCR与行人重识别技术的严峻考验。

使用方法

研究者可直接从公开链接下载数据集，并参照论文中的基准实验进行模型评估。对于文本识别任务，推荐使用YAMTS或SwinTS等端到端模型，在RND训练集上进行微调，采用余弦退火学习率调度与随机缩放、旋转等数据增强。对于行人重识别任务，建议基于ImageNet或Market-1501等预训练的OSNet或ResNet50模型，在MUDD上使用三元组损失与Adam优化器进行微调。评估时，文本识别采用检测与端到端识别的精确率、召回率与F1分数，重识别则使用CMC Rank-1至Rank-10及mAP指标，所有实验均需在训练与验证集上进行超参数搜索后，在测试集上报告最终结果。

背景与挑战

背景概述

在计算机视觉领域，尽管光学字符识别（OCR）与行人重识别（ReID）技术已取得显著进展，但在非受控的真实世界环境中稳健地识别文本与人物身份仍是长期挑战。2024年，由卡内基梅隆大学与美国陆军研究实验室的Jacob Tyo等人联合构建的Racer Number Dataset（RND）与Muddy Racer re-iDentification Dataset（MUDD）应运而生，旨在填补越野摩托车赛事这一极端场景下的数据空白。这两个数据集涵盖超过6300张由16位专业摄影师在50余场赛事中拍摄的图像，聚焦于泥浆遮挡、复杂姿态、运动模糊等恶劣因素对视觉系统的影响。RND包含2411张图像与5578个车号标注，MUDD则包含3906张图像与150个车手身份，为OCR与ReID在体育分析、自动计时等实际应用中提供了极具挑战性的基准，揭示了现有模型在此类环境下性能严重下降的问题。

当前挑战

该数据集所面临的挑战主要源于越野摩托赛事中极端且多变的视觉条件。泥浆遮挡是最突出的问题，占RND数据的44%，其不规则堆积模式完全不同于传统数据集中的遮挡类型，导致最先进模型在端到端文本识别上的F1分数仅为0.47，远低于无遮挡场景的0.599。此外，车手在跳跃、翻车等复杂姿态下的外观剧变，加之号码牌尺寸不一、布局多样、字体各异，以及强光、阴影、运动模糊和低分辨率等干扰，共同构成了OCR与ReID的双重困境。在数据集构建过程中，人工标注亦面临挑战：由于泥浆严重掩盖号码，标注者需仅依赖局部上下文判断，且为MUDD创建身份聚类时，初始的纯ReID模型聚类效率低下，每身份耗时超30分钟，最终借助辅助号码检测才将验证时间降至10分钟以内。

常用场景

经典使用场景

在越野摩托车赛事中，车辆与车手常被厚重的泥浆覆盖，使得传统计算机视觉方法在文本检测与行人重识别任务上表现不佳。RND与MUDD数据集正是为应对这一极端环境而构建，其经典使用场景聚焦于两个核心任务：一是对车手号码牌进行端到端的文本检测与识别，二是在泥泞、复杂姿态与运动模糊条件下实现车手身份的精准重识别。这两个场景共同构成了越野赛事视觉理解的基础，也为鲁棒视觉系统的评估提供了严苛的基准。

实际应用

在实际应用中，该数据集直接服务于专业赛车摄影平台PerformancePhoto.co，支持对海量赛事照片进行实时车手搜索与自动标注。赛事组织方、摄影师与车迷可借助基于该数据训练的模型，快速定位特定车手的比赛瞬间，提升照片检索效率。此外，该技术还可拓展至体育赛事分析、自动计时计分系统以及安全监控等需要鲁棒视觉识别的场景，具有显著的行业落地价值。

衍生相关工作

围绕RND与MUDD数据集，衍生了一系列推动领域发展的经典工作。在文本检测方面，研究者基于YAMTS与SwinTS模型进行领域微调，显著提升了泥泞环境下的号码识别性能。在重识别方面，OSNet与ResNet-50等架构通过迁移学习在MUDD上取得了近80%的Rank-1准确率。此外，该数据集还启发了利用辅助号码信息进行高效标注的半自动化方法，为大规模复杂场景数据集的构建提供了新范式。