excavator-dataset

挖掘机操纵杆动作数据集包含操作挖掘机时左右操纵杆的动作数据。数据集中的视频分辨率为1920x1080，帧率为25帧/秒，使用HEVC(H.265)进行压缩。数据集使用标记ID 0和1分别代表右操纵杆和左操纵杆，每个操纵杆控制不同的挖掘机功能。右操纵杆控制桶和Boom的动作，左操纵杆控制驾驶室和臂的动作。坐标轴定义了操纵杆的运动范围和挖掘机的相应操作，所有坐标都标准化在[-1, 1]的范围内。此外，数据集还描述了这些坐标如何对应于挖掘机的标准挖掘和倾倒操作序列。

Excavator Joystick Action Dataset contains the action data of the left and right joysticks during excavator operation. The videos in the dataset have a resolution of 1920x1080, a frame rate of 25 fps, and are compressed using HEVC (H.265). The dataset uses tag IDs 0 and 1 to represent the right joystick and left joystick respectively, where each joystick controls distinct excavator functions: the right joystick governs the movements of the bucket and Boom, while the left joystick controls the cab and arm operations. A coordinate system is defined to specify the joystick movement range and corresponding excavator operations, with all coordinates normalized to the range of [-1, 1]. Additionally, the dataset details how these coordinates correspond to the standard excavator excavation and dumping operation sequences.

原始信息汇总

Excavator Joystick Action Dataset 概述

数据集基本信息

• 视频分辨率：1920 x 1080
• 帧率：25 帧每秒
• 压缩格式：HEVC（H.265）

动作数据坐标系

操纵杆标记分配与挖掘机功能

• 标记 ID 0：右手操纵杆（操作员右手）
  • 控制功能：铲斗（X 轴）和动臂（Y 轴）
• 标记 ID 1：左手操纵杆（操作员左手）
  • 控制功能：驾驶室（X 轴）和斗杆（Y 轴）

轴定义与挖掘机操作

标记 ID 0 - 右手操纵杆

X 轴：铲斗控制（横向运动）

• 负值（-1.0）：铲斗关闭/向内卷曲（挖掘物料）
• 正值（+1.0）：铲斗打开/向外卷曲（倾倒物料）

Y 轴：动臂控制（纵向运动）

• 负值（-1.0）：动臂下降（降低动臂）
• 正值（+1.0）：动臂上升（提升动臂）

标记 ID 1 - 左手操纵杆

X 轴：驾驶室控制（横向运动）

• 负值（-1.0）：驾驶室向左旋转（逆时针）
• 正值（+1.0）：驾驶室向右旋转（顺时针）

Y 轴：斗杆控制（纵向运动）

• 负值（-1.0）：斗杆下降/收回（将斗杆拉向驾驶室）
• 正值（+1.0）：斗杆上升/伸出（将斗杆推离驾驶室）

挖掘机功能摘要

标记	轴	功能	-1.0	0.0	+1.0
0（右手）	X	铲斗	关闭/向内卷曲	中立	打开/向外卷曲
0（右手）	Y	动臂	下降	中立	上升
1（左手）	X	驾驶室	向左旋转	中立	向右旋转
1（左手）	Y	斗杆	下降/收回	中立	上升/伸出

坐标范围

所有坐标均归一化到范围 [-1, 1]，其中：

• 0, 0：中立/中心位置（操纵杆静止，无挖掘机运动）
• ±1：相应方向的最大偏转（完全激活挖掘机功能）
• 数值经过裁剪/归一化，确保操纵杆运动范围保持在边界内

挖掘机操作上下文

该坐标系直接映射到标准挖掘机控制：

• 挖掘顺序：动臂下降（-Y₀）→ 斗杆伸出（+Y₁）→ 铲斗关闭（-X₀）
• 倾倒顺序：动臂上升（+Y₀）→ 铲斗打开（+X₀）
• 定位：驾驶室旋转（±X₁）用于方向改变
• 范围调整：斗杆收回/伸出（±Y₁）用于距离控制

搜集汇总

数据集介绍

构建方式

在工程机械智能化研究领域，excavator-dataset通过高精度动作捕捉系统构建而成。该数据集采集自真实挖掘机操作场景，以1920×1080分辨率、25fps的HEVC编码视频记录操作过程，并同步记录左右操纵杆的标准化坐标数据。每个操纵杆动作均映射至特定液压功能，其中右操纵杆控制铲斗开合与动臂升降，左操纵杆负责平台回转与斗臂伸缩，所有坐标值均归一化至[-1,1]区间，中性位置对应机械静止状态。

特点

本数据集的核心特征在于其精细化的操作映射体系与多模态数据耦合。操纵杆动作数据采用双标记ID系统，分别对应左右手操作通道，每个轴向运动均与挖掘机液压功能建立确定性关联。数据范围经过严格归一化处理，极值点对应最大机械行程，中性零点表征操作基准位。特别值得关注的是，数据集内置了典型作业序列的逻辑关联，如挖掘循环中的动臂下降-斗臂伸展-铲斗闭合协同操作，为研究复合动作时序关系提供结构化支撑。

使用方法

该数据集适用于工程机械自动化控制与操作行为分析研究。使用者可通过解析视频帧与操纵杆时序数据的对齐关系，构建操作意图识别模型。具体应用中，可提取操纵杆坐标序列作为训练特征，结合视频流验证机械执行状态，开发基于时间序列的操纵模式分类算法。研究者可进一步依据内置的典型作业序列，构建端到端的自动驾驶挖掘机控制模型，或用于操作员技能评估系统的开发。数据标准化格式支持直接导入主流的机器学习框架进行时序分析。

背景与挑战

背景概述

在工程机械自动化研究领域，excavator-dataset代表了挖掘机操作行为数据化的重要突破。该数据集由工程机械智能控制研究团队开发，专注于采集挖掘机双操纵杆的高精度动作数据。通过标记系统精确记录左右操纵杆在X/Y轴上的归一化坐标值，实现了对挖斗、动臂、回转和斗杆四大核心功能的数字化映射。这一数据集为工程机械的智能控制、自动驾驶及人机协同操作提供了关键的数据支撑，推动了重型机械智能化研究从理论向实践应用的转化。

当前挑战

该数据集致力于解决工程机械操作行为识别与预测的复杂挑战，包括多自由度操纵的时序建模、操作意图的精确解析以及不同作业场景下的动作模式泛化。在构建过程中，研究团队需要克服高精度动作同步采集的技术难题，确保25fps视频流与操纵杆数据的毫秒级对齐。同时，必须建立标准化坐标映射体系来解决机械操作的非线性特性，并通过严谨的数据清洗流程消除操作抖动和噪声干扰，保证数据质量的可靠性。

常用场景

经典使用场景

在工程机械自动化研究领域，excavator-dataset为挖掘机操作行为分析提供了标准化数据基础。该数据集通过高精度动作捕捉系统记录操作员操纵杆的连续运动轨迹，精确映射到挖掘机的四大核心功能模块：动臂升降、斗杆伸缩、铲斗开合及平台回转。研究者可基于这些时序动作数据构建操作模式识别模型，解析典型作业流程如挖掘循环、物料转运和精准定位中的操纵特征，为智能化施工装备的操控策略优化提供数据支撑。

实际应用

在实际工业场景中，该数据集支撑了多个应用方向的落地。基于数据驱动的操作员培训系统可通过对比新手与专家的操作模式差异，提供实时反馈与优化建议。在智能挖掘机开发中，该数据为自主作业算法提供了真实世界的动作示范，使机器能够学习人类的精细操作技巧。此外，在远程操控系统中，数据集可用于设计预测性控制接口，降低操作延迟带来的影响，提升复杂工况下的作业安全性与效率。

衍生相关工作

该数据集催生了多项创新性研究，包括基于时序卷积网络的挖掘机动作识别模型，能够实时分类操作意图。在强化学习领域，研究者利用该数据集构建了虚拟训练环境，通过模仿学习初始化智能体策略，加速自主控制算法的收敛。此外，衍生出的操作员技能评估框架通过分析操纵杆运动平滑度与作业效率的关联，为职业技能认证提供了量化指标。这些工作共同推动了工程机械智能操控技术从理论到实践的跨越。