Neural Actuation Dataset (NAD)

Neural Actuation Dataset (NAD)是由麻省理工学院与亚马逊机器人团队联合构建的机器人执行器建模数据集，旨在解决低成本伺服驱动平台中因摩擦、迟滞和热漂移等因素导致的执行器动力学建模难题。该数据集通过双机械臂主从遥操作系统采集，包含机器人状态、执行器遥测数据以及末端执行器外部力标签，覆盖了自由空间运动和丰富接触操作场景，为模型训练提供了同步监督数据。其创建过程涉及操作员通过主臂进行示教生成多样化轨迹，从臂在闭环控制下执行并记录多模态传感信息，从而捕捉执行器在负载变化和间歇接触下的复杂行为。该数据集主要应用于机器人学领域，支持执行器动力学的高保真建模、无外部力传感器的力感知、电机状态估计以及下游行为克隆控制任务的性能提升。Neural Actuation Dataset (NAD) is a robot actuator modeling dataset jointly constructed by the Massachusetts Institute of Technology (MIT) and the Amazon Robotics team, aiming to address the challenges in actuator dynamic modeling of low-cost servo drive platforms caused by factors such as friction, hysteresis, and thermal drift. This dataset is collected via a dual-arm master-slave teleoperation system, containing robot states, actuator telemetry data, and external force labels for the end-effector, covering free-space motion and rich contact manipulation scenarios, and providing synchronized supervised data for model training. The creation process involves operators generating diverse trajectories through master arm teleoperation teaching, while the slave arms execute under closed-loop control and record multi-modal sensing information, thus capturing the complex behaviors of the actuator under load variations and intermittent contacts. This dataset is primarily applied in the field of robotics, supporting high-fidelity modeling of actuator dynamics, force perception without external force sensors, motor state estimation, and performance enhancement of downstream behavior cloning control tasks.

原始信息汇总

数据集概述：Neural Actuation Dataset (NAD)

Neural Actuation Dataset (NAD) 是一个为机器人驱动建模和外部力感知研究而收集的数据集，由 NeuralActuator 项目发布。

数据集收集方式

• 使用双机械臂遥操作系统采集数据。
• 记录包括：命令状态、测量状态、电流、电压、温度。
• 外部力标签来源于已知负载或固定的六轴力/扭矩传感器。
• 一个独立的力计用于评估基准，不参与NAD训练监督。

数据集组成（以 OpenManipulator-X 平台为例）

数据集总时长约 94.52 分钟，包含三个主要类别：

类别	描述	时长
自由运动 (Free motion)	无外部力	~34.15 分钟
力标签 (Force labeled)	使用已知重量或力传感	~46.24 分钟
电机状态 (Motor condition)	机械受限的关节3	~14.13 分钟
总计	-	~94.52 分钟

数据集规模与平台

• NAD 包含 350 个 OpenManipulator-X 任务分配 和 100 个 SO-101 任务分配。
• 数据采集平台包括：5-DoF OpenManipulator-X、6-DoF SO-101（低成本平台），以及 7-DoF Franka Emika Panda（仅用于离线负载力估计基准）。

数据集用途

• 训练一个神经驱动器模型 (NeuralActuator)，该模型联合预测：
  • 模拟器等效的广义力替代量（用于轨迹传播）
  • 外部力（含接触概率门控，实现无传感器力感知）
  • 电机状态评分
• 支持力感知的模仿学习和真实机器人控制。

数据验证与评估

• 提供时间同步的视频和轨迹日志，并可视化外部力。
• 包含独立的力计推动评估基准，用于接触起始、持续推力和释放阶段的力预测验证。

搜集汇总

数据集介绍

构建方式

Neural Actuation Dataset (NAD) 的构建依托于一套双机械臂主从遥操作系统，操作员通过驱动主臂产生多样化运动轨迹，从臂在闭环控制下复现主臂运动并在此过程中与环境进行交互。系统同步记录了机器人状态（关节位置、速度、指令目标）、致动器遥测数据（电机电流、温度、供电电压）以及末端执行器的外部接触力标签，外部力数据通过固定于夹具上的六轴力/力矩传感器采集，并转换至机器人基坐标系。数据集包含了无外部力的自由运动、已知负载的力标记交互（包括不同重量的负载和轴向力传感器交互）以及机械受限状态下的电机运行数据，全面覆盖了摩擦、负载变化和间歇接触等致动器效应。

使用方法

该数据集主要用于训练和评估 NeuralActuator 模型，该模型采用 Transformer 架构处理历史命令、状态和遥测序列，以多任务学习的方式同时预测与模拟器等效的广义力代理、外部力、接触概率和电机状态评分。使用过程中，研究人员可将序列数据输入模型，其中广义力代理头通过可微模拟从位姿轨迹中获取监督信号，而外力、接触门和电机状态头则使用数据集中对应的直接标签进行监督。数据集按8:1:1划分为训练、验证和测试集，支持从零开始的训练、在线适应微调以及跨平台迁移学习，特别适用于评估低成本机器人平台上的动态建模、无外力传感器下的力感知以及下游行为克隆性能的提升。

背景与挑战

背景概述

Neural Actuation Dataset (NAD) 由麻省理工学院计算机科学与人工智能实验室的研究团队于2026年创建，旨在解决低成本机器人平台上执行器动力学建模与无传感器外力感知的关键科学问题。该数据集的核心研究问题聚焦于揭示伺服驱动平台中电流与关节力矩之间复杂的非线性映射关系，涵盖了摩擦、迟滞、齿隙及热漂移等非理想效应。NAD通过双机械臂主从遥操作采集系统，同步记录了自由空间运动、力交互及电机受限状态下的机器人状态、执行器遥测数据与外力标签，为差异化仿真与多任务学习提供了高质量训练基准。该数据集对机器人学领域产生了深远影响，不仅推动了低成本平台仿真到现实迁移精度的提升，也为力觉感知与控制策略的泛化研究奠定了重要基础。

当前挑战

NAD所应对的核心领域挑战在于克服低成本伺服平台上电流-力矩线性近似模型（τ=KtI）的固有局限。由于齿轮箱摩擦、迟滞、电流饱和与温度漂移等时变非理想特性，传统线性映射在轨迹跟踪与外力推断中误差显著，导致仿真与现实之间的性能退化。数据集构建过程中面临的挑战包括：设计能够精确同步机器人本体感知、执行器遥测与高精度力传感器数据的数据采集系统；确保多源异构数据在时间维度上的严格对齐；以及在不同负载、接触姿态与运动轨迹条件下，有效捕捉并分离执行器动力学与外力作用之间的耦合效应。这些挑战要求构建一套鲁棒的数据采集协议与多任务协同训练框架，以实现低成本平台上可靠的执行器建模与无传感器力觉感知。

常用场景

经典使用场景

在机器人学与仿真领域，Neural Actuation Dataset (NAD) 最经典的使用场景是作为低成本伺服驱动平台上执行器动力学的标准评估基准。该数据集通过双子遥操作采集系统，记录了机器人状态、执行器遥测数据以及末端外力标签，涵盖了自由空间运动、负载操作和接触交互等多种动力学情境。研究者利用NAD训练和验证数据驱动的可微分执行器模型，显著提升了模拟到现实迁移的保真度，为低成本机器人的动力学建模提供了可靠的测试平台。

解决学术问题

NAD有力地解决了学术研究中低成本机器人执行器非线性动力学建模这一长期挑战。传统线性电流-力矩近似在廉价伺服平台上因摩擦、迟滞和热漂移等因素而失效，导致虚拟仿真与真实物理世界之间存在严重偏差。该数据集通过提供包含执行器遥测和外力标签的时序数据，支持无需直接广义力标签的端到端可微训练，使得研究者能够准确预测力矩代理并实现无传感器外力感知，显著缩小了模拟与现实之间的差距，推动了可微仿真与学习式动力学模型的交叉融合。

实际应用

在实际应用层面，NAD赋能了多种工业与科研场景下的机器人智能操控。基于该数据集训练的NeuralActuator模型可直接部署于成本敏感的中小型机械臂，实现实时外力估计与接触监测，显著提升了物品抓取、搬运及放置等高精度操作的成功率。例如，在行为克隆控制器中集成该模型的力反馈模块后，机器人在不同负载和接触条件下的操作表现得到明显改善。此外，该数据集还支持关节状态监测，可用于早期预警机械故障，拓展了服务机器人和工业自动化设备的感知能力。

数据集最近研究

最新研究方向

Neural Actuation Dataset (NAD) 的最新研究方向聚焦于数据驱动的可微分驱动模型，旨在解决低成本机器人平台上线性电流-力矩近似（τ = KtI）因摩擦力、迟滞、齿隙和热效应导致的不可靠性问题。该研究通过构建NeuralActuator模型，联合预测与仿真器等效的广义力代理、无传感器外力感知及电机状态诊断，并在价值从约500美元到超过30,000美元的三类平台上验证其有效性。这一方向推动了可微分仿真在机器人动力学与操作中的实用化进程，为低成本伺服系统的仿真到现实迁移、力觉感知及行为克隆控制提供了新的范式，具有显著的理论突破与实际应用价值。

相关研究论文

• NeuralActuator: Neural Actuation Modeling for Robot Dynamics and External Force Perception

  麻省理工学院; 亚马逊机器人 · 2026年