论文部分内容阅读
机场行李手推车收集机器人系统旨在回收散落在机场的空闲的手推车,将其放置到指定的区域,实现行李手推车的无人收集。机场行李手推车收集机器人整个系统主要由视觉识别、状态检测、位姿估计、导航定位等模块组成,行李手推车的状态检测和位姿估计是整个系统中最基础和最关键的部分。手推车的状态分为占用和未占用两种状态,需要根据手推车是否有货物和周围是否有行人正在使用等情况确定,而现有的目标检测算法只是利用框内的信息对目标进行分类,并没有考虑周围信息对于目标分类的影响,直接使用现有的目标检测算法会导致识别不准确;另外,机场环境复杂,行李手推车的点云信息存在很多噪声,使用点云匹配算法导致结果并不准确和鲁棒。针对以上问题,本文主要展开基于单目视觉的行李手推车状态检测和位姿估计方法研究,最终将其应用到机场行李手推车收集机器人系统中。针对机场行李手推车状态检测问题,本文提出基于上下文信息的行李手推车状态检测模型,利用行李手推车周围环境信息,对其进行状态检测,该模型基于两阶段的目标检测算法Faster RCNN进行改进,添加一个额外分支,该分支针对行人占用行李手推车的情况进行判断,而原算法针对行李手推车是否有货物进行判断,最后整合两个分类结果,得到行李手推车的最后状态。另外针对机场环境下,获取的点云信息存在很多噪声,本文基于单张rgb图片,设计了一种基于语义关键点的行李手推车位姿估计方法,针对行李手推车在某些位姿下,关键点自身被遮挡情况很常见,设计模型包括两个阶段(DetecNet和RefineNet),Detec Net是一个encoder-decoder的模型结构,融合浅层和深层特征用来检测容易的关键点,Refine Net是一个多卷积块的有中间监督的模型结构,对DetectNet的结果进行微调,并且受在线难样例挖掘和Focal Loss的启发,本文仅选取top-K的关键点损失进行反向传播,让模型更加关注难关键点的学习,最后根据检测到的2D关键点和模型3D关键点对应关系,采用EPNP算法解算出行李手推车的位姿。本文搜集大量的图片验证本文的模型,在测试数据集上和已有的算法做了对比试验,验证了本文想法的可行性。设计的上下文信息模型相比较FasterRCNN算法m AP提升了接近3个点;设计的语义关键点模型,在OKS评价指标上达到了0.77,对比hourglass、CPM等模型提升2个点,并且位置平均误差仅为19mm,角度平均误差仅为2.5°,满足应用的要求。