ITLP-Campus Dataset Public

Датасет записан на робототехнической платформе Husky на территории кампуса МФТИ и состоит из 5 треков, записанных в разное время суток (день/сумерки/ночь) и разные времена года (зима/весна).

Public частьвключает зимние треки (день/сумерки/ночь), а весенние (день/ночь) будут выданы для как private dataset.

Данные разделены по трекам, длина одного трека порядка 3 км, каждый трек включает в себя порядка 600 фреймов. Расстояние между соседними фреймами ~5 м. Каждый фрейм включает в себя:

- LiDAR -ный скан
- RGB изобрадения для 2х камер (front/back)
- Семантические маски для изображений каждой камеры
- Текстовое описание для изображений каждой камеры
- 6 DoF позу робота

Cтруктура хранения данных трека следующая:
```text
public/2023-02-10-08-04-19-twilight
├── back_cam
│├── ####.png
│└── ####.png
├── front_cam
│├── ####.png
│└── ####.png
├── labels
│├── back_cam
││   ├── ####.png
││   └── ####.png
│└── front_cam
│├── ####.png
│└── ####.png
├── lidar
│├── ####.bin
│└── ####.bin
├── track.csv
└── track_map.png
```

где
- `####` - название файла, представляющее из себя timestamp изображения/скана (виртуальную временную метку момента, в который ихображение/скан были сняты)
- `.bin` - файлы - LiDAR -ые сканы в бинарном формате
- `.png` - изображения и семантические маски
- `.csv` - сопоcталвение timestemp -ов для всех данных и 6DoF поз робота

Семантические маски получены при помощи модели сегментации [Oneformer](https://github.com/SHI-Labs/OneFormer), предобученной на датасете [Mapillary](https://paperswithcode.com/dataset/mapillary-vistas-dataset).

Текстовое описания к изображениям хранятся в отдельных файлах `train.csv` и `val.csv` - общих, для всех трех треков.

该数据集由 Husky 机器人平台在莫斯科物理技术学院校园内采集，包含五个不同时间（日间、黄昏、夜间）和季节（冬季、春季）的轨迹，共计五个子集。其中，公共部分包含冬季轨迹（日间、黄昏、夜间），而春季轨迹（日间、夜间）则作为私有数据集提供。数据按照轨迹进行划分，每条轨迹长度约为3公里，包含约600个帧。相邻帧之间的距离约为5米。每个帧包含以下信息：

- LiDAR 扫描数据
- 两台相机的 RGB 图像（前视/后视）
- 每台相机图像的语义分割掩码
- 每台相机图像的文字描述
- 机器人的6自由度（6DoF）姿态信息

数据存储结构如下：
text
public/2023-02-10-08-04-19-twilight
├── back_cam
│├── ####.png
│└── ####.png
├── front_cam
│├── ####.png
│└── ####.png
├── labels
│├── back_cam
││   ├── ####.png
││   └── ####.png
│└── front_cam
│├── ####.png
│└── ####.png
├── lidar
│├── ####.bin
│└── ####.bin
├── track.csv
└── track_map.png

其中，`####` 代表图像/扫描的虚拟时间戳，`.bin` 文件为二进制格式的 LiDAR 扫描数据，`.png` 文件为图像和语义分割掩码，`.csv` 文件为所有数据的时间戳与机器人6DoF姿态信息的对照。语义分割掩码是通过在 Mapillary 数据集上预训练的 [Oneformer](https://github.com/SHI-Labs/OneFormer) 模型生成的。图像的文字描述存储在 `train.csv` 和 `val.csv` 文件中，这些文件适用于所有三个轨迹。