excavator-motion

Excavator-Motion是一个大规模的挖掘机运动轨迹数据集，包含三种不同的挖掘机模型。每个H5文件记录了从挖掘开始到卡车装满的完整运动轨迹。该数据集不仅包含来自相同视角的RGB图像，还包括全局视角下的高程地图和挖掘机关节角度的精细测量。Excavator-Motion is a large-scale excavator motion trajectory dataset covering three distinct excavator models. Each H5 file records the complete motion trajectory from the start of excavation until the truck is fully loaded. This dataset not only includes RGB images captured from the same viewing perspective, but also provides elevation maps under the global view and precise measurements of the excavator's joint angles.

原始信息汇总

Excavator-Motion 数据集概述

数据集简介

• 名称：Excavator-Motion
• 类型：挖掘机运动轨迹数据集
• 规模：大规模
• 内容：包含三种不同挖掘机模型的完整运动轨迹，从挖掘开始到卡车满载的全过程记录
• 特点：
  • 包含与Excavator-Video数据集相同的RGB图像
  • 提供全局视角的高程地图
  • 包含细粒度的挖掘机关节角度测量数据

许可证

• 类型：CC BY-NC-SA 4.0

下载方式

• 推荐工具：huggingface-cli

• 完整数据集下载命令： bash huggingface-cli download fuxi-robot/excavator-motion --repo-type dataset --local-dir .

• 单文件下载命令（示例）： bash huggingface-cli download fuxi-robot/excavator-motion xcmg_data_2025-04-11-17-46-49.hdf5 --repo-type dataset --local-dir .

数据结构

组	形状	含义
/observation/timestamp	[N]	时间戳（纳秒）
/observation/images/main	[N, 384, 480, 3]	主视角RGB图像
/observation/images/elevation	[N, 200, 200, 3]	激光雷达高程图像
/observation/qpos	[N, 4]	关节角度（弧度），顺序为[动臂、斗杆、铲斗、回转]
/action	[N, 4]	关节角度变化量（弧度），顺序为[动臂、斗杆、铲斗、回转]

可视化工具

• 命令示例： bash python scripts/visualize.py --data_path=./data/75/xcmg_data_2025-04-11-17-46-49.hdf5 --out_dir=. --format=mp4 --fps=30

• 示例视频：

  • https://huggingface.co/datasets/fuxi-robot/excavator-motion/resolve/main/assets/75.mp4
  • https://huggingface.co/datasets/fuxi-robot/excavator-motion/resolve/main/assets/490.mp4
  • https://huggingface.co/datasets/fuxi-robot/excavator-motion/resolve/main/assets/306.mp4

数据转换工具

• 转换命令： bash python scripts/excavator_h5_to_lerobot.py --src_dir=... --dst_dir=.

搜集汇总

数据集介绍

构建方式

在工程机械智能化研究领域，Excavator-Motion数据集通过高精度传感器系统采集了三款主流挖掘机的完整运动轨迹数据。该数据集采用HDF5格式存储，每个文件记录了从挖掘启动到卡车满载的连续作业过程，同步采集了多模态数据：384×480分辨率的BGR格式主视角图像、200×200分辨率的激光雷达高程图，以及动臂、斗杆、铲斗和回转机构的关节角度测量值，时间戳精确到纳秒级别。数据采集过程严格遵循工程机械测试规范，确保了轨迹数据的完整性和时序精确性。

特点

作为工程机械运动分析领域的重要资源，该数据集最显著的特点是实现了多源异构数据的时空对齐。相较于仅含视频的Excavator-Video数据集，本数据集不仅包含相同视角的RGB图像，还创新性地整合了全局坐标系下的三维高程地图和关节角度时序数据。四自由度关节角度测量精度达到弧度级，配合30fps的视觉采样频率，为研究机构建立挖掘机数字孪生模型提供了完整的感知-动作闭环数据。数据集涵盖三种不同型号挖掘机的作业数据，增强了模型训练的泛化能力。

使用方法

针对工程机械智能化研究需求，该数据集支持多种应用场景。研究者可通过HuggingFace官方CLI工具下载完整数据集或特定HDF5文件，利用提供的可视化工具将二进制数据转换为MP4格式视频，直观分析挖掘机运动特性。数据集采用分层存储结构，/observation组包含时间戳、视觉数据和高程图，/action组存储下一时刻的目标关节角度。高级用户可通过配套脚本将数据转换为LeRobot兼容格式，便于接入主流强化学习框架。多模态数据的时空对齐特性特别适合用于开发基于感知的预测控制算法。

背景与挑战

背景概述

Excavator-Motion数据集由Fuxi Robot团队构建，专注于挖掘机运动轨迹的全面记录与分析。该数据集不仅包含RGB图像，还整合了全局视角的高程图和精细的关节角度测量，为智能工程机械的研究提供了多维度的数据支持。其构建旨在解决挖掘机自动化操作中的运动规划与控制问题，通过高精度数据推动相关算法的优化与创新。

当前挑战

在挖掘机自动化领域，精确建模复杂运动轨迹仍面临诸多挑战。数据集需处理多传感器数据同步问题，确保时间戳与各维度测量值的一致性。构建过程中，如何在高动态环境下稳定采集关节角度数据，以及消除不同视角图像间的标定误差，均对数据质量提出了严格要求。此外，大规模轨迹数据的标注与验证亦需耗费大量计算资源。

常用场景

经典使用场景

在工程机械智能化研究领域，excavator-motion数据集因其精细的运动轨迹记录而成为关键资源。该数据集通过捕捉挖掘机从启动挖掘到完成装载的全过程，为研究人员提供了丰富的多模态数据，包括RGB图像、高程图和关节角度测量。这些数据特别适用于开发基于深度学习的挖掘机自主控制系统，能够模拟和优化复杂工况下的机械操作。

实际应用

在实际工程场景中，该数据集支撑了智能挖掘机系统的开发与测试。基于数据集训练的模型已成功应用于自动化土方作业、危险环境远程操作等场景，大幅提升了施工效率和安全性。其中融合激光雷达高程数据与视觉信息的算法，有效解决了复杂地形下的机械定位精度问题。

衍生相关工作

该数据集催生了多个重要研究方向，包括基于模仿学习的挖掘轨迹生成、多模态传感器融合的工况感知等。相关成果发表在机器人顶会ICRA和IROS上，其中部分工作将数据集扩展为包含更多机型的长时序基准，为构建工程机械数字孪生系统奠定了数据基础。