FrodoBots-2K

FrodoBots-2K是一个非常酷的数据集，用于视觉SLAM和其他视觉算法。该数据集包含离散的视频帧，需要合并成更长的视频以供使用。

FrodoBots-2K is a specialized dataset tailored for visual SLAM and other visual algorithm research and applications. It consists of discrete video frames that need to be merged into longer video sequences for practical utilization.

原始信息汇总

vSLAM on FrodoBots-2K

FrodoBots-2K 是一个令人兴奋的数据集，我们将提供如何使用它进行视觉SLAM的详细信息。

目录

• vSLAM on FrodoBots-2K
  • 1. SLAM 设置（以 ORBSLAM3 为例）
    • 1.1 下载数据集
    • 1.2 校准
    • 1.3 合并视频帧
    • 1.4 修改 CMakeLists.txt 以编译新的校准模型
    • 1.5 运行 ORBSLAM3
    • 1.6 评估 ORBSLAM3
  • 2. 目标检测（以 YOLOX 为例）
    • 2.1 合并视频帧
    • 2.2 生成目标检测结果
    • 2.3 获取结果视频
  • 3. 深度估计（以 Lite-Mono 为例）
    • 3.1 合并视频帧
    • 3.2 估计深度
    • 3.3 获取结果视频
• 实际 FrodoBots 部署
  • 0. 想要校准？
  • 1. 想要应用 vSLAM 算法？（以 ORBSLAM3 为例）
• 引用

1. SLAM 设置（以 ORBSLAM3 为例）

1.1 下载数据集

从以下链接下载数据集：FrodoBots-2K 数据集

1.2 校准

根据我们的实验，校准参数如下：Robot_Zero.yaml。

1.3 合并视频帧

使用 merge_ts_files.sh 脚本合并视频帧： bash mv merge_ts_files.sh /home/zhangqi/Downloads/output_rides_21/ride_38222_20240501013650 chmod +x merge_ts_files.sh ./merge_ts_files.sh

1.4 修改 CMakeLists.txt 以编译新的校准模型

在 CMakeLists.txt 中添加以下内容： cmake add_executable(Robot_zero Examples/Monocular/Robot_zero.cc) target_link_libraries(Robot_zero ${PROJECT_NAME})

1.5 运行 ORBSLAM3

使用以下命令运行 ORBSLAM3： bash ./Examples/Monocular/Robot_Zero Vocabulary/ORBvoc.txt Examples/Monocular/Robot_zero.yaml /home/zhangqi/Downloads/output_rides_21/ride_38222_20240501013650

1.6 评估 ORBSLAM3

参考以下仓库估计轨迹并通过 GPS 和控制数据作为地面实况保存为 TUM 轨迹格式： bash conda env create --file traj_est_env.yaml conda activate traj_est python gt_traj_est.py --input_path ./ --output_path ./result --num_workers 4 --overwrite

2. 目标检测（以 YOLOX 为例）

2.1 合并视频帧

使用 merge_ts_files.sh 脚本合并视频帧： bash mv merge_ts_files.sh /home/zhangqi/Downloads/output_rides_21/ride_38222_20240501013650 chmod +x merge_ts_files.sh ./merge_ts_files.sh

2.2 生成目标检测结果

下载 run_video.py 脚本并运行目标检测： bash python run_video.py video -f /home/zhangqi/Documents/Library/YOLOX/exps/default/yolox_s.py -c /home/zhangqi/Documents/Library/YOLOX/yolox_s.pth --path /home/zhangqi/Downloads/output_rides_21/ride_38222_20240501013650/recordings/rgb.ts --save_result

2.3 获取结果视频

结果视频位于 ./YOLOX_outputs/yolox_s/vis_res/2024_07_07_21_30_59。

3. 深度估计（以 Lite-Mono 为例）

3.1 合并视频帧

使用 merge_ts_files.sh 脚本合并视频帧： bash mv merge_ts_files.sh /home/zhangqi/Downloads/output_rides_21/ride_38222_20240501013650 chmod +x merge_ts_files.sh ./merge_ts_files.sh

3.2 估计深度

下载 video_depth_prediction.py 脚本并运行深度估计： bash python video_depth_prediction.py --video_path /home/zhangqi/Downloads/output_rides_21/ride_38222_20240501013650/recordings/rgb.ts --output_path output_video_depth.avi --load_weights_folder /home/zhangqi/Documents/Library/Lite-Mono/pretrained_model --model lite-mono8m

3.3 获取结果视频

结果视频位于 LiteMono/。

实际 FrodoBots 部署

0. 想要校准？

参考校准文件夹进行校准，并获取 TOKEN： bash pip install requirements.txt python auto_calibration.py

1. 想要应用 vSLAM 算法？（以 ORBSLAM3 为例）

bash python Orbslam3_deployments.py

引用

引用此工作时，请使用以下参考： plaintext @misc{zhang2024earthroverdatasetrecorded,
title={An Earth Rover dataset recorded at the ICRA@40 party},
author={Qi Zhang and Zhihao Lin and Arnoud Visser},
year={2024},
eprint={2407.05735},
archivePrefix={arXiv},
primaryClass={cs.RO},
url={https://arxiv.org/abs/2407.05735}
}

搜集汇总

数据集介绍

构建方式

在视觉同步定位与地图构建（vSLAM）领域，FrodoBots-2K数据集的构建过程严谨而系统。该数据集通过记录机器人运动过程中的视觉数据，结合精确的校准参数，确保了数据的高质量。具体而言，数据集的构建包括视频帧的采集、校准参数的确定以及视频帧的合并。通过使用`merge_ts_files.sh`脚本，将离散的视频帧合并为连续的视频流，为后续的SLAM算法应用提供了坚实的基础。此外，数据集还提供了详细的校准文件`Robot_Zero.yaml`，确保了数据的一致性和准确性。

特点

FrodoBots-2K数据集以其独特的特点在机器人视觉研究中脱颖而出。首先，该数据集包含了丰富的视觉数据，涵盖了多种机器人运动场景，为研究者提供了多样化的实验环境。其次，数据集的校准过程严格，确保了数据的精确性和可靠性。此外，数据集还提供了多种算法的应用示例，如ORBSLAM3、YOLOX和Lite-Mono，使得研究者可以快速上手并进行深入研究。这些特点使得FrodoBots-2K成为视觉SLAM和相关领域研究的宝贵资源。

使用方法

使用FrodoBots-2K数据集进行研究时，首先需要从指定链接下载数据集。随后，根据研究需求，可以选择不同的算法进行应用。例如，使用ORBSLAM3进行SLAM设置时，需下载数据集并进行校准，然后通过修改`CMakeLists.txt`文件来编译新的校准模型。接着，运行ORBSLAM3并进行评估。对于物体检测和深度估计，同样需要合并视频帧并运行相应的算法脚本。最终，通过查看生成的视频结果，评估算法的性能。这些步骤确保了数据集的高效利用和研究成果的准确评估。

背景与挑战

背景概述

FrodoBots-2K数据集是由Qi Zhang、Zhihao Lin和Arnoud Visser等研究人员于2024年创建的，旨在支持视觉同步定位与地图构建（vSLAM）、物体检测和深度估计等领域的研究。该数据集的构建基于在ICRA@40派对上记录的地球漫游者数据，通过提供高质量的视频帧和校准参数，为研究人员提供了一个全面的实验平台。FrodoBots-2K的发布不仅推动了机器人视觉技术的进步，还为相关领域的研究提供了宝贵的资源。

当前挑战

FrodoBots-2K数据集在构建过程中面临多个挑战。首先，视频帧的离散性要求研究人员开发合并脚本以生成连续的视频流，这增加了数据处理的复杂性。其次，校准过程需要精确的参数设置，以确保SLAM算法的准确性。此外，数据集的应用范围广泛，涉及vSLAM、物体检测和深度估计等多个领域，要求研究人员具备跨领域的技术能力。最后，数据集的实际部署和校准过程中，需要处理现实世界中的不确定性和复杂环境，这进一步增加了研究的难度。

常用场景

经典使用场景

在视觉同步定位与地图构建（vSLAM）领域，FrodoBots-2K数据集的经典使用场景主要集中在利用ORBSLAM3算法进行实时环境地图构建与机器人定位。通过该数据集，研究者能够模拟真实环境中的机器人运动，从而评估和优化SLAM算法的性能。此外，数据集还支持对象检测和深度估计任务，如使用YOLOX进行实时对象识别，以及利用Lite-Mono进行深度信息提取，进一步丰富了其在多任务处理中的应用价值。

实际应用

在实际应用中，FrodoBots-2K数据集被广泛用于开发和测试自主机器人系统。例如，在仓储物流和无人驾驶领域，利用该数据集训练的SLAM算法可以显著提高机器人的定位精度和环境感知能力。同时，对象检测和深度估计功能也为机器人提供了更复杂的环境理解能力，使其能够在动态和复杂的环境中执行任务。

衍生相关工作

基于FrodoBots-2K数据集，研究者们开展了一系列相关工作，包括但不限于改进的SLAM算法、高效的对象检测模型以及精确的深度估计技术。例如，一些研究团队利用该数据集开发了新的视觉里程计方法，显著提升了机器人在复杂环境中的导航性能。此外，该数据集还激发了对多传感器融合技术的研究，推动了机器人感知系统的整体进步。