OpenBench

OpenBench是一个针对室外居民区导航任务的新基准，由澳门科技大学和清华大学等机构的研究人员创建。该数据集模拟真实世界的最后一公里配送场景，要求机器人仅使用导航地图自主导航至客户门前。它旨在评估户外语义导航系统在长期运营和任务理解能力方面的性能，弥补了现有基准在评估最后一公里配送方面的不足。

OpenBench is a novel benchmark for outdoor residential area navigation tasks, created by researchers from institutions including Macau University of Science and Technology and Tsinghua University. This dataset simulates real-world last-mile delivery scenarios, requiring robots to navigate autonomously to customers' doorsteps using only navigation maps. It aims to evaluate the performance of outdoor semantic navigation systems in terms of long-term operational and task understanding capabilities, filling the gap in existing benchmarks for assessing last-mile delivery-related tasks.

搜集汇总

数据集介绍

构建方式

OpenBench数据集的构建方法旨在解决智能物流中最后一公里配送的效率问题。该数据集结合了基础模型与经典算法，利用OpenStreetMap (OSM) 作为灵活的地图表示，无需大规模预建图，从而节省资源。系统采用大型语言模型 (LLMs) 来理解配送指令，并利用视觉-语言模型 (VLMs) 进行全局定位、地图更新和门牌号识别，以提高导航的稳定性和可靠性。

特点

OpenBench数据集的特点在于其针对住宅区户外导航的定制化设计，能够模拟真实世界中的挑战。数据集要求机器人仅凭导航地图，从指定起点自主导航至客户门口，无需预建图，反映了快递员在实际配送过程中所面临的挑战。此外，OpenBench还引入了评估指标，如任务规划成功率、成功率和路径长度加权成功等，以及长期成功率等，以全面评估系统的交互性和长期导航能力。

使用方法

使用OpenBench数据集时，用户需实现能够处理配送指令并完成任务的自语义导航系统。该系统首先利用LLMs将自然语言配送请求转换为结构化的机器人任务，然后通过与OSM交互提取目的地细节并生成任务序列。机器人根据任务序列决定导航或探索模式，生成执行点，并由经典规划器执行。同时，系统使用经典方法进行本地定位，并通过VLMs和OSM进行全局定位和地图更新。在路径规划方面，OSM被转换为成本图，以便进行A*路径搜索，并通过Timed Elastic Band算法生成平滑的轨迹。

背景与挑战

背景概述

随着智能物流领域对高效最后一英里配送需求的日益增长，自动驾驶机器人在提升运营效率和降低成本方面发挥着重要作用。传统的导航方法依赖于高精度地图，资源密集且难以大规模部署。而基于学习的导航方法在现实场景中往往难以泛化，并且需要大量的训练数据。为了解决这些挑战，本研究提出了Openstreetmap-enhanced oPen-air sEmantic Navigation (OPEN)系统，该系统结合了基础模型和经典算法，以实现可扩展的户外导航。OPEN系统使用现成的OpenStreetMap (OSM)进行灵活的地图表示，从而消除了需要大量预先制图工作的需求。它还采用大型语言模型 (LLM) 来理解配送指令，并采用视觉语言模型 (VLM) 进行全局定位、地图更新和门牌号识别。为了弥补现有基准测试的不足，本研究引入了一个新的基准测试，专门设计用于评估住宅区户外导航的真实世界挑战。在模拟和现实世界环境中的广泛实验表明，该系统在提高导航效率和提高可靠性方面非常有效。为了促进进一步的研究，我们的代码和基准测试已公开发布。

当前挑战

该数据集相关的挑战包括：1)解决领域问题的挑战：智能物流领域最后一英里配送的导航问题。2)构建过程中所遇到的挑战：传统的导航方法需要高精度语义地图，资源密集且难以大规模部署；基于学习的导航方法在现实场景中往往难以泛化，并且需要大量的训练数据。

常用场景

经典使用场景

OpenBench数据集主要用于评估智能物流领域中的最后一公里配送任务中自主机器人的导航效率。该数据集通过模拟真实世界环境中的居民区导航，要求机器人能够理解和执行自然语言指令，从而实现从起点到客户住宅的无缝导航。OpenBench数据集通过提供丰富的导航地图和任务规划场景，为研究者提供了一个平台来测试和评估他们的导航算法和系统的性能。

解决学术问题

OpenBench数据集解决了传统导航方法在智能物流领域中的局限性。传统的基于高精度地图的导航方法资源密集，且难以大规模部署；而基于学习的导航方法则往往难以泛化到现实世界场景中。OpenBench通过结合基础模型和经典算法，提出了一种可扩展的室外导航系统，利用OpenStreetMap（OSM）进行灵活的地图表示，并使用大型语言模型（LLM）和视觉语言模型（VLM）来提高导航效率和可靠性。此外，OpenBench还引入了新的基准测试，旨在评估最后一公里配送中的长期操作能力和任务理解能力，从而推动了高效、可靠和可扩展的机器人配送解决方案的发展。

衍生相关工作

OpenBench数据集的提出和实施，为相关领域的研究提供了新的思路和方法。例如，基于OpenBench数据集的导航算法和系统的开发，可以进一步推动最后一公里配送中的自主机器人技术的研究和发展。此外，OpenBench数据集还可以用于评估和优化自然语言指令理解、任务规划、地图更新和定位等关键技术，从而提高自主机器人在现实世界环境中的导航效率和可靠性。