学习独立特征分解状态空间以实现机器人技能学习代码

由于连续域中机器人任务的多样性和复杂性，机器人技能学习是该领域最具挑战性的问题，特别是对于具有高维状态空间的机器人。 为了学习连续控制的结构化策略，之前应用图神经网络（GNN）将机器人结构明确地合并到策略网络中。 在这项工作中，我们借助图神经网络解决高维状态空间中的机器人技能学习问题。 我们没有利用通用多层感知器（MLP）作为统一控制器来输出机器人所有关节的动作，而是利用 GNN 模型提取的各个特征为机器人的每个关节构造一个单独的控制器 。 模拟连续系统的实证结果，包括在 PR2 任务和 Centipede 任务中的应用，表明所提出的框架可以获得令人满意的学习性能，更重要的是，它显着减少了策略网络的参数。