maum-ai/CostNav-Teleop-Dataset

CostNav Teleop Dataset是一个大规模的人类远程操作记录集合，用于机器人导航在城市人行道模拟环境中的性能评估。该数据集作为[CostNav基准](https://github.com/worv-ai/CostNav)的一部分收集，该基准使用真实世界的经济成本和收入指标而非纯技术指标来评估导航系统。数据集包含2,203个远程操作片段，总计50.2小时的驾驶数据，由4名人类操作员使用操纵杆控制Segway E1送货机器人在NVIDIA Isaac Sim中收集。每个片段以ROS 2 bag文件形式存储在MCAP格式中，包含同步的多模态传感器数据。The CostNav Teleop Dataset is a large-scale collection of human teleoperation records designed for performance evaluation of robotic navigation in simulated urban sidewalk environments. This dataset was collected as part of the [CostNav Benchmark](https://github.com/worv-ai/CostNav), which uses real-world economic cost and revenue metrics rather than purely technical indicators to evaluate navigation systems. The dataset contains 2,203 teleoperation segments totaling 50.2 hours of driving data, collected by four human operators using a joystick to control a Segway E1 delivery robot within NVIDIA Isaac Sim. Each segment is stored as a ROS 2 bag file in MCAP format, containing synchronized multimodal sensor data.

搜集汇总

数据集介绍

构建方式

在移动机器人导航领域的成本效益评估日益受到关注的背景下，CostNav-Teleop-Dataset应运而生。该数据集基于NVIDIA Isaac Sim仿真平台，构建了一个城市人行道模拟环境，由四位人类操作员通过摇杆对Segway E1配送机器人进行遥操作，共采集了2203个导航片段，总计50.2小时的驾驶数据。每个片段均以ROS 2 bag格式存储为MCAP文件，同步记录了多模态传感器信息。数据按照操作员身份归入不同文件夹，并通过CSV文件汇总了各片段的起止时间、时长、消息数量及任务结果（成功、部分成功或失败）等元数据，构建方式严谨且系统化，为后续的模仿学习研究提供了坚实的基础。

特点

该数据集的核心特色在于其独特的成本导向设计，旨在将真实世界中的经济成本与收益指标引入导航系统的评估。数据集中包含了丰富的传感器模态，如前视立体相机图像、3D激光雷达点云、2D激光扫描、轮式里程计、惯性测量单元等，同时提供了遥操作速度指令和原始摇杆输入。此外，数据集还记录了任务成功与否的二元结果，并特别标注了是否包含食品监控相机的数据，这为模拟配送机器人在真实经济场景下的关键故障（如食物腐坏或机器人倾覆）提供了可能性，从而使得该数据集在评估现实世界部署的经济成本方面具有独特价值。

使用方法

研究人员可通过多种途径高效利用此数据集。首先，可以直接使用MCAP读取库加载数据，或利用ROS 2的bag play命令进行回放与可视化。为了支持模仿学习研究，该数据集配套了完整的数据处理管线。用户可先将MCAP文件转换为MediaRef格式，将图像提取为H.264视频以实现高效的惰性加载，随后可进一步处理为ViNT或NavDP等主流模仿学习基准所需的训练格式。该过程支持使用Ray框架进行多Worker并行转换，大幅提升处理效率。最终生成的结构化数据包括对齐的图像序列和里程计轨迹，可直接用于训练导航策略模型，实现从遥操作数据到学习型导航算法的无缝衔接。

背景与挑战

背景概述

随着服务型机器人在城市环境中的广泛应用，如何在真实经济成本约束下评估导航系统的性能成为亟待探索的核心议题。2025年底，由韩国学术与工业界联合团队（包括首尔大学、韩国科学技术院及Naver Labs等机构研究者）发布的CostNav-Teleop-Dataset，正是为解决这一需求而生。该数据集依托《CostNav: A Navigation Benchmark for Real-World Economic-Cost Evaluation of Physical AI Agents》论文，首次将经济损益模型引入机器人导航评估体系。数据集通过四名操作员在NVIDIA Isaac Sim模拟的城市场景中，以遥操作方式收集了2,203条、累计50.2小时的赛格威E1配送机器人行驶数据，并基于食物损耗、机器人侧翻等物理仿真事件构建经济成本模型。这一创新性工作为模仿学习与导航基准测试提供了兼具物理真实性与经济可解释性的多模态数据资源，推动了从纯技术指标向商业可行性评估的关键转变。

当前挑战

该数据集构建与使用面临多重挑战：首先，领域层面，传统导航评估多依赖成功率、路径长度等技术指标，难以反映部署中的商业损耗，而该数据集需通过高保真物理仿真（如食物变质、车身倾覆）将非结构化环境风险量化为经济成本，这对仿真建模的精确度与泛化性提出极高要求。其次，数据采集过程中，遥操作因不同操作员的操控偏好与反应差异产生显著策略漂移（如操作员C仅贡献73条轨迹），导致行为分布不均，且505条失败轨迹（占总数的22.9%）在模仿学习中的有效利用方式仍需探索。此外，多传感器数据（立体相机、3D激光雷达、IMU等）的异构同步与MCAP格式在长时序海量消息（约7140万条ROS消息）下的高效解析，亦构成工程化处理的技术壁垒。

常用场景

经典使用场景

在机器人导航与模仿学习领域，CostNav-Teleop-Dataset作为首个融合真实经济成本评价的遥操作导航数据集，为物理AI代理的路径规划研究提供了崭新的数据基础。该数据集记录了四位操作员在仿真城市人行道环境中操控Segway E1配送机器人完成的2,203条遥操作轨迹，总时长超过50小时，并同步采集了立体视觉、三维激光雷达、惯性测量单元及轮式里程计等多模态传感器信息。研究者可据此模仿人类驾驶行为，构建端到端的导航策略，从而在复杂动态场景中复现具有经济意识的行进决策。

解决学术问题

该数据集直击传统导航基准仅关注避障成功率或路径长度等纯技术指标的局限性，首次将运营经济性——包括食物腐损风险、机器倾覆成本及配送收益等实际商业因素——纳入导航性能的评价体系。学术界长期面临仿真环境与现实经济成本脱节的问题，CostNav-Teleop-Dataset通过高保真物理仿真与精细化的经济模型，使研究者能够量化不同导航策略对商业可持续性的影响，推动了从单纯技术优化到综合经济效能评估的研究范式转变。

衍生相关工作

围绕该数据集衍生了一系列具有奠基意义的学术工作，其中最为典型的是CostNav基准框架本身，它提出了融合配送收益、能耗开销、货损赔偿等维度的复合经济成本函数，并提供了完整的仿真环境与评价工具。基于该数据集的模仿学习基线方法如ViNT与NavDP在标准化预处理管线上得到了验证，相关代码库还开源了从原始MCAP格式到训练格式的高效转换流程，促进了可复现研究生态的构建。这些工作共同推动了面向真实商业场景的物理AI导航算法从学术假设走向工程验证。