机械臂在工业生产中有着广泛应用。绝大部分抓取算法都依赖于手眼标定结果,物体模型特征等先验知识,且只能针对特定种类物体的抓取,当任务场景,操作目标发生变化时,其无法进行有效的迁移。本文主要研究在机械臂仿真环境下的通用物体抓取决策过程。本文定义的通用物体抓取过程主要满足以下四点约束:·可在指定任务场景下完成对单个任意的通用物体的抓取,包含新物体的抓取。·抓取决策过程的输入信息仅包含传感器观测输入(如相机的图像),机械臂的姿态,夹持器的反馈信息等。·不使用目标物体真实坐标等实物平台上难以直接获得的额外信息,强化学习训练过程采用稀疏奖励的反馈,只有抓取成功时才能获得正面的反馈。·采用笛卡尔坐标系下机械臂末端的连续动作空间作为决策的输出。本文主要使用深度强化学习的方法来研究通用物体抓取的端对端决策过程。在上述约束下,强化学习的方法主要会遇到交互时间长,采样效率低,样本利用率不足,探索性受限四个问题。本文的研究主要针对这四个问题展开,具体研究成果如下:1.本文在基础的DQN和DDPG两类算法上分别引入控制器引导策略探索与分布式训练两点改进,以克服交互时间长、采样效率低的问题。由于高维状态、稀疏奖励、连续动作的约束,直接使用DQN或DDPG算法进行训练难以获得有效的反馈,训练速度非常缓慢。本文设计了 一个成功率约10%的引导策略替代完全随机的探索,提升了采样效率,训练完成后可实现约50%的抓取成功率。针对交互时间长的问题,本文将两类算法进行分布式部署,采用多交互节点单学习节点的框架进行训练,在提高采样效率的同时,也增加了 一定的探索性,模型性能可提升至55%。2.本文提出了基于模仿学习的集成确定性策略算法(BC-EDDPG)。算法通过对专家示教数据的模仿学习提升了模型前期的训练速度,也提高了样本利用效率。而策略网络的集成可平衡模仿学习带来探索性不足的问题。在此改进下,算法最终在新物体的抓取场景下可达到约70%的成功率,同时将训练过程的交互数据从10w以上降低至2w左右,为后续迁移至实物平台的实验奠定了基础。