BitRobot/FrodoBots-Mini-4K

FrodoBots-Mini-4K数据集包含约4,000小时来自Earth Rover Mini / Mini+ 人行道机器人的真实世界遥操作数据，由全球29个国家的操作员网络驱动。每个行程捆绑了同步的摄像头视频（前视和可用时的后视）、双向音频，以及时间对齐的GPS、IMU和驱动/控制（DRV）数据流。数据集包括14,141个行程，涉及453个机器人，覆盖2024年12月至2026年7月的时间范围，总遥操作会话时间为3,965小时（前视摄像头视频3,231小时，后视摄像头视频1,909小时），大小约2.0 TB。数据以原始、未标注的每行程文件夹形式提供，打包为托管在Hub上的tar分片。FrodoBots-Mini-4K is a dataset with ~4,000 hours of real-world teleoperation data from Earth Rover Mini / Mini+ sidewalk robots, driven by a global operator network across 29 countries. Each ride bundles synchronized camera video (front, and rear when available), two-way audio, and time-aligned GPS, IMU, and drive/control (DRV) streams. The dataset includes 14,141 rides, 453 robots, spanning from December 2024 to July 2026, with a total teleoperation session time of 3,965 hours (front-camera video: 3,231 hours, rear-camera video: 1,909 hours), and a size of ~2.0 TB. It ships raw, unannotated per-ride folders packaged as tar shards hosted directly on the Hub.

搜集汇总

数据集介绍

构建方式

FrodoBots-Mini-4K数据集由BitRobot团队构建，源自全球操作员网络对Earth Rover Mini/Mini+ sidewalk机器人的远程操控活动。数据采集历时从2024年12月至2026年7月，覆盖29个国家，共计453台机器人参与，累计产生14,141次行程，遥操作时长约3,965小时。数据集以原始未标注的目录形式存储，每个行程文件夹内包含同步的前后摄像头视频、双向音频、GPS、IMU及驱动控制（DRV）数据流，并通过1,139个tar分片打包，托管于HuggingFace Hub。所有传感器数据均具有生成的逐帧时间戳，确保多模态信息的时间对齐。

特点

该数据集的核心特色在于其大规模、真实世界的人机遥操作场景，提供了约2.0 TB的丰富多模态数据，涵盖高分辨率H.264视频（最高1280×720，约20帧/秒）、MPU-6050 IMU、GNSS定位以及线性与角速度控制命令。数据集的独特价值体现在其地理多样性，行程分布于中国、菲律宾、美国等29个国家，涵盖城市与乡村环境，为机器人自主导航、多模态感知融合及跨域迁移学习提供了珍贵的基准。此外，机器人硬件开源设计，便于研究者复现实验。

使用方法

用户可通过HuggingFace Hub的`hf_hub_download`工具下载元数据文件`metadata.parquet`，其中包含每个行程的分片索引及其他属性。读取元数据后，可定位特定行程所在的分片，使用`tarfile`库提取对应文件夹至本地。每个行程包含CSV格式的传感器数据（如控制信号、GPS、IMU、时间戳）以及HLS格式的视频和音频片段。建议使用附带的`earth_rover_mini_dataset.ipynb`笔记本作为参考，加载一个完整行程示例，并学习如何将摄像头帧与GPS、IMU、DRV数据对齐以进行后续分析。

背景与挑战

背景概述

FrodoBots-Mini-4K数据集由BitRobot团队于2026年发布，汇集了来自29个国家、453台Earth Rover Mini/Mini+人行道机器人的约4000小时真实遥操作数据。该数据集的核心研究问题聚焦于多模态机器人操控行为理解与自主导航能力提升，涵盖同步的前后摄像头视频、双向音频、GPS、IMU及驱动控制流。作为FrodoBots系列第三版公开数据，它延续了前作原始无标注的存储范式，但规模与地理多样性显著跃升，为机器人学习、多模态感知及远程操作领域提供了前所未有的真实世界基准，推动了低成本机器人平台在复杂人行道环境中的泛化研究。

当前挑战

该数据集所解决的领域核心挑战在于：缺乏大规模、多模态、跨地理的遥操作机器人数据以支撑自主导航与操控模型的训练，现有数据集多局限于单一场景或传感器配置。构建过程中，BitRobot面临多重技术挑战：需在全球29国分布式操作员网络下，确保不同网络质量下0.7TB视频（含H.264 HLS自适应编码）与传感器流的低延迟同步；处理硬件版本迭代（6.0.x-6.2.x）引起的传感器映射差异；过滤GPS无效数据（标记为(1000,1000)的无定位点）；并克服4G/LTE与Wi-Fi混合通信下的数据碎片化，最终将14,141次行程按1.9GB分片打包为可下载tar归档，兼顾存储效率与访问易用性。

常用场景

经典使用场景

FrodoBots-Mini-4K数据集为机器人多模态感知与自主导航研究提供了极具价值的真实世界数据资源。它收录了来自全球29个国家453台Earth Rover Mini/Mini+ sidewalk机器人的约4000小时遥操作数据，每段行程均包含同步的前后摄像头视频、双向音频、GPS定位、IMU惯性测量以及驱控指令流。这类多模态、跨地域、长时段的真实街道场景数据，是训练和评估自主机器人感知系统、行为克隆模型以及端到端导航策略的理想基线。研究者可借助其丰富的传感器对齐数据，探索视觉、语言指令与运动控制之间的协同关系，推动低功耗机器人平台在复杂人行道环境下的鲁棒运行能力。

实际应用

在实际产业落地中，FrodoBots-Mini-4K可应用于多种机器人服务场景。例如，快递配送公司可利用该数据集训练 sidewalk 机器人学习全球不同街道布局下的路径规划与避障能力，从而提升最后一公里配送的智能化水平；安防巡逻领域可通过复制遥操作员的驾驶策略，提升机器人在复杂人流环境下的稳定循迹与实时响应性能。此外，数据集内附带的双向音频使远程指导与用户交互成为可能，拓宽了老年陪伴、校园安全巡查和公共场所清洁机器人等商业化部署的前景。随着数据集公开，开发者能更快地迭代机器人自主程度，降低对漫游环境和手动遥控的依赖。

衍生相关工作

围绕FrodoBots-Mini-4K衍生的经典工作已初步显现。首先，基于该数据集的遥操作轨迹可实现行为克隆（Behavioral Cloning）训练，让机器人模仿全球操作员的操控经验，从而涌现出接近人类水平的驾驶风格。其次，利用多视角视频与IMU/GPS的时空对齐信息，研究者开发了视觉惯性里程计和基于学习的重定位系统，在GPS受限区域也能保持定位精度。此外，语音与运动指令的关联建模催生了人-机器人多轮交互学习框架，使机器人能够理解并响应口语化指令。这些工作共同构成了从感知到决策、从单人操控到群体学习的完整技术脉络，为人行道自主机器人生态的发展奠定了坚实的实证基础。