Flatlandia

Flatlandia数据集由意大利技术研究院创建，专注于3DoF视觉定位挑战，旨在通过比较图像中的物体布局与地图中的已知物体布局来定位视觉查询。数据集包含20个大型参考地图和2000个视觉查询，覆盖五个欧洲城市，每个参考地图平均大小为0.025平方公里。数据集通过众包图像从Mapillary平台收集，支持多种设备和条件下的图像捕获，以增强数据的真实性和多样性。Flatlandia数据集的应用领域包括大规模自主代理部署和增强现实，旨在解决高效且保护隐私的视觉定位问题。

The Flatlandia Dataset was developed by the Istituto Italiano di Tecnologia (IIT), targeting the 3Degrees-of-Freedom (3DoF) visual localization challenge. It enables visual query localization by comparing the object layout in input images with the known object layouts in pre-established reference maps. The dataset includes 20 large-scale reference maps and 2000 visual queries, spanning five European cities, with each reference map averaging 0.025 square kilometers in area. Collected from the Mapillary platform through crowdsourced imagery, the dataset supports image capture across diverse devices and environmental conditions to enhance the authenticity and diversity of the data. Application domains of the Flatlandia Dataset cover large-scale autonomous agent deployment and augmented reality, aiming to address efficient and privacy-preserving visual localization challenges.

原始信息汇总

Flatlandia 数据集

简介

Flatlandia 数据集是一个用于从对象检测和标注对象地图中进行视觉定位的新问题数据集。给定一张包含常见城市对象（如长椅、路灯、标志）的视觉图像和一个标注了类似城市对象位置的2D地图，目标是恢复视觉查询在地图上的位置（以纬度/经度表示）和角度（方向）。

该数据集基于Mapillary中的众包数据，涵盖五个欧洲城市。数据集的代码和详细信息在论文"You are here! Finding position and orientation on a 2D map from a single image: The Flatlandia localization problem and dataset."中介绍。

数据集内容

Flatlandia 数据集包含一系列从众包街景Mapillary图像中采样的视觉查询，每个查询都标注了对象检测（2D边界框和类别标签）。这些查询来自欧洲的20个区域，每个区域提供一个参考地图：一个2D地图，标注了场景中对象的位置（纬度和经度）和类别。

数据集存储在data/flatlandia.json中，可以使用torch dataloader轻松访问：

python from scripts.utils.dataloader import FlatlandiaLoader dataset = FlatlandiaLoader() for problem in dataset: ...

每个数据集条目是一个json文件，包含以下内容：

• reference_map: Flatlandia场景的ID（范围0-19）
• reference_xy: 参考地图中每个对象的纬度和经度
• reference_class: 每个对象的类别标签，编码为整数
• query_token: 与视觉查询关联的唯一Mapillary令牌
• query_xy: 相机在参考地图中的位置
• query_theta: 相机的方向
• query_matches: 检测到的对象在参考地图对象列表中的索引
• query_detections: 图像上检测到的对象位置，作为边界框的左上角和右下角
• intrinsics: 获取视觉查询的相机的内部参数

每个数据集条目可以使用scripts.utils.dataloader中定义的visualize_problem(x)函数进行可视化。

附加内容

除了Flatlandia数据集，还提供了：

• Flatlandia场景的SfM重建（data/README.MD）
• 数据集使用的示例代码（scripts/README.MD）

搜集汇总

背景与挑战

背景概述

Flatlandia是一个用于3DoF视觉定位的数据集，专注于从单张图像中的物体检测和2D标注地图中恢复位置和方向。该数据集基于Mapillary的众包数据，涵盖20个欧洲城市区域，提供视觉查询和参考地图，数据以JSON格式存储，包含物体坐标、类别、相机参数等关键信息。