SiGNgapore Dataset

该数据集包含160张带有至少一个导航标志的场景图像，以及205个用于识别任务的导航标志。图像在新加坡的多个地点收集，包括医院、商场、交通枢纽、公园和NUS校园。数据集捕捉了各种场景复杂度和导航标志设计。

The dataset contains 160 scene images with at least one navigation sign, as well as 205 navigation signs for recognition tasks. The images were collected at multiple locations in Singapore, including hospitals, shopping malls, transportation hubs, parks, and the National University of Singapore (NUS) campus. The dataset captures various levels of scene complexity and navigation sign designs.

原始信息汇总

SiGNgapore 数据集概述

数据集基本信息

• 名称: SiGNgapore Dataset
• 用途: 导航标志理解任务，用于提取导航标志中的空间信息
• 数据量:
  • 160张包含至少一个导航标志的场景图像
  • 205个用于识别任务的导航标志
• 采集地点: 新加坡多个地点（医院、商场、交通枢纽、公园、NUS校园等）

数据内容

• 图像数据: 包含不同复杂度和设计的导航标志
• 标注信息:
  • 每个图像标注有检测任务的边界框
  • 部分可读且完全可见的标志提供识别任务标注
• 标注类型:
  • 文本标签（如"ZONE A": "locational"）
  • 符号标签（如"TOILET": "straight"）

数据集结构

• images文件夹: 存放场景图像
• ground truth json文件: 包含所有图像的标注信息
  • 图像路径
  • 对象ID
  • 边界框坐标
  • 文本标签（含方向/位置信息）
  • 符号标签（含方向信息）

获取方式

1. Google Drive下载: https://drive.google.com/file/d/109mdy1gpIEhyd5JCyNGqdBvrfvgU1tS6/view?usp=sharing
2. HuggingFace加载: python from datasets import load_dataset_builder ds_builder = load_dataset_builder("NickyZimmerman/SiGNgapore")

相关研究

• 论文标题: Sign Language: Towards Sign Understanding for Robot Autonomy
• 作者: Ayush Agrawal, Joel Loo, Nicky Zimmerman, David Hsu
• 年份: 2025
• arXiv链接: https://arxiv.org/abs/2506.02556

搜集汇总

数据集介绍

构建方式

在机器人自主导航领域，理解环境标志是实现场景认知的关键环节。SiGNgapore数据集通过系统采集新加坡多元场景中的导航标志构建而成，涵盖医院、商场、交通枢纽等公共场所的160幅图像，包含205个具有导航意义的标志实例。研究团队采用实地拍摄方式获取原始数据，通过人工标注建立结构化标注体系，每个标志实例均包含边界框定位信息，并对可读性良好的标志进一步标注文本内容与空间指向关系。

特点

该数据集显著特点在于其地理多样性与场景复杂性，覆盖了不同设计风格的导航标志，从简洁的方向指示到复合型空间信息面板。技术层面提供JSON格式的结构化标注，包含物体检测所需的边界框坐标，以及细粒度的文本识别与符号分类标签。特别值得注意的是，数据集对标志功能进行了语义区分，明确标注方向性提示（如左右指向）与位置性标识（如区域划分），为导航语义理解任务提供了丰富的研究素材。

使用方法

使用者可通过Google Drive或HuggingFace平台获取数据集压缩包，内含图像文件夹与标准格式的标注文件。技术实现上需配置Python 3.10以上环境，并安装PyTorch及相关视觉语言模型依赖库。数据集支持两种典型应用场景：基于边界框的标志检测任务，以及结合文本与符号标签的细粒度语义解析任务。评估时需保持原始仓库结构，通过命令行参数指定根目录路径，确保模型能正确加载测试集并进行端到端性能验证。

背景与挑战

背景概述

SiGNgapore数据集由Ayush Agrawal、Joel Loo、Nicky Zimmerman和David Hsu等研究人员于2025年提出，旨在推动机器人自主导航中的标志理解研究。该数据集聚焦于从人类环境中广泛存在的导航标志中提取空间信息，特别是方向性和位置性线索，以增强自主系统对复杂场景的解析能力。数据集包含160张采集自新加坡多样公共场所的图像，涵盖医院、购物中心和交通枢纽等场景，共标注205个导航标志，为机器人视觉语言理解提供了重要基准。其创新性在于首次系统性地将导航标志识别任务形式化，并通过多模态标注为后续研究奠定基础。

当前挑战

该数据集面临的核心领域挑战在于导航标志的复杂多样性，包括不同设计风格、遮挡情况以及多语言混杂的文本符号识别。构建过程中的技术难点涉及三方面：高精度标注需平衡人类可读性与机器可解析性，场景复杂性导致标志检测易受光照和视角干扰，以及多模态标签（文本与符号）的协同标注体系设计。此外，真实场景中标志的空间指向信息与语义理解之间存在鸿沟，这对视觉语言模型的跨模态对齐能力提出了更高要求。

常用场景

经典使用场景

在机器人自主导航领域，SiGNgapore数据集为视觉语言模型（VLMs）提供了丰富的导航标志识别基准。该数据集包含160张涵盖医院、商场、交通枢纽等复杂场景的图像，其中205个导航标志被精细标注，包括方向性和位置性提示。研究者可利用该数据集训练模型解析多样化设计风格的标志，提升机器人对环境中符号空间信息的理解能力。

解决学术问题

该数据集有效解决了自主系统在人类环境中语义解析的学术难题。通过提供多场景、多复杂度的标准化测试集，填补了导航标志理解任务缺乏基准数据的空白。其标注体系区分方向性（如箭头指向）与位置性（如区域标识）线索，为研究符号空间信息表征、跨模态对齐等核心问题提供了实验基础，推动了具身智能的环境交互能力发展。

衍生相关工作

该数据集催生了多个标志理解领域的创新研究。Agrawal等提出的多模态注意力机制（2025）首次实现符号与文本线索的联合推理。后续工作如Zimmerman的层级式解析框架（2026）进一步区分标志中的主次信息，而Loo团队开发的EfficientSign-Net（2026）则专注于低功耗嵌入式部署，这些成果均以该数据集作为核心评估基准。