基于深度学习的目标检测及抓取检测研究

来源 :东北大学 | 被引量 : 0次 | 上传用户:yyandmwm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自上世纪六十年代开始,机器人以其能能够二十四小时连续工作,对环境适应能力强等优点被引入工业生产领域。随着我国进入信息时代,机器人在工业制造、家庭生活、国防安全等社会各个领域起到了越来越重要的作用,同时也对其准确性、实时性、高效性等提出了更高的要求。而机器视觉作为机器人环境感知的重要组成部分,成为机器人感知研究的热点和前沿。目标检测及抓取位姿估计是工业机器人应具备的基本能力,其在工业分拣、码垛、装配等工作中起着至关重要的作用。但传统的目标检测及抓取位姿估计方法主要依靠人工提取特征且对于参数调整这一重要环节需要大量的经验积累,大量精力浪费在重复体力劳动中,专业人才缺失且检测精度不高。而深度学习技术通过神经网络提取特征,在大数据和计算能力的保证下,能使得检测速度和检测精度大大提高。本文旨在通过对基于深度学习的目标检测及物体抓取算法的研究,进一步的提高检测速度和精度,加速相关技术应用的成型落地。首先,本文通过对当前工业协作机器人的具体工作环境分析,设计了合理的应用场景。通过对比研究,采用了在检测速度和准确性都有不错表现的YOLOv3目标检测神经网络作为实现深度学习场景应用的工具。针对具体的场景,制作了相应的数据集以训练YOLOv3模型,通过ISODATA聚类算法得到了适合该数据集的anchor值;针对自制数据集较小、场景单一的情况,对数据集进行了系统全面的数据增强;考虑到待检测目标较少且检测场景背景简单,对YOLOv3基础网络架构进行了适当删减,并通过浅层特征与深层特征相融合,减少了模型在准确率基本不变的情况下的检测时间。其次,本文研究了基于深度学习的抓取研究方法。通过对康奈尔抓取数据集的学习和理解,制作了针对具体场景下待检测目标的抓取数据集。在原有抓取检测网络中增加空洞卷积层,增大了特征图的感受野,进一步提取特征;并对深层和浅层特征图进行拼接,实现特征融合,进一步提高特征的表达能力,使得检测准确率明显提高。考虑到工业应用的准确性和稳定性,针对具体的待检测目标,提出了基于角点检测的抓取位姿检测方法。场景中先进行物体的分类和定位,再进行物体的角点检测,并通说物体的定位过滤误检的检点,设计相应的算法补全漏检的角点,使得角点检测的准确性大大提高,最后再利用角点的位置信息,计算出物体的形心位置,即物体的抓取点。通过深度相机获取点云信息,并计算出物体的抓取位姿。这种方法针对具体的场景,能极大提高物体抓取检测的准确率。最后,本文对机器人机械臂进行了手眼标定的工作,通过ROS系统将检测得到的位置信息发送给机器人,机器人根据指令到具体位置抓取物体,从而实现简单的物体分拣场景。本文无论对于深度学习技术的应用和发展,还是对于智能制造、视频监控、自动驾驶等实际应用方面,都有着十分重要的价值和意义。
其他文献
内部应力是机械结构工作可靠性和寿命的重要影响因素。一般情况下,内部应力的长期存在,使得构件性能降低,微观尺度上出现裂纹。裂纹处发生的应力集中效应进一步加剧裂纹的扩展,从而使构件寿命下降,甚至发生脆性断裂导致重大生产安全事故等。在残余应力的测量中,超声波无损检测法具有安全无污染、探测深度深和方向性好等优点,适合在役设备的测量。本文的主要工作如下:首先,设计超声波发射电路板,使用FPGA产生的方波控制
近年来,随着我国经济的快速发展,汽车产业得到了迅速发展,同时也带动了轮毂生产企业规模的快速扩大。传统的人工识别轮毂型号的生产方式由于其自动化程度低、人工成本高等缺点已经不能满足现代工业发展的要求。为了提高生产效率、降低人工成本,本文对轮毂型号自动识别系统中的一些关键技术进行了深入研究,设计并开发了一套基于模板匹配的轮毂型号自动识别系统。首先,本文对轮毂型号识别系统整体架构进行研究,论述了机器视觉系
氧化锆具有优越的机械性能,优良的生物相容性。氧化锆的惰性使其与牙体硬组织粘结性差,容易导致牙本质/牙釉质-氧化锆修复体界面产生微渗漏以及二次龋,同时现有粘接剂的体积收缩率高也导致粘接不牢,氧化锆修复体脱落率高。针对以上问题,本文对光固化丙烯酸酯基材料中各功能成分及含量调控、乙酰基酯化取代羟基反应过程中体系分子结构变化和材料性能进行了系统的研究。本文采用室温共混加聚反应,详细考察了丙烯酸酯基树脂单体
近年来,由糖尿病引发的糖尿病视网膜病变严重影响了人们的健康,早期的诊断和筛查对视网膜病变的预防至关重要。研究表明,视网膜血管的形态结构变化与糖尿病视网膜病变的严重程度密切相关,如果能够从眼底视网膜图像中识别和检测出血管结构,将为医生的临床诊断工作提供有力支撑。因此,本文对糖尿病视网病变图像的血管分割展开研究,主要研究内容如下:(1)提出了一种基于血管特征池的视网膜血管分割方法。首先对眼底图像预处理
水中溶解氧的含量反应了当前水体环境的水质情况,也是水体环境自净能力的重要指标之一。如何快速,准确的测量水中溶解氧的含量受到越来越多科研人员的关注。现如今用于实时在线测量溶解氧的方法都有各自的特点,但光学方法设计的溶解氧传感器具有响应时间快、不受电磁干扰、传输损耗低,在测量的过程中不消耗氧气等特点使其成为新一代溶解氧检测技术的探索方向。本文提出了两种基于光学方法检测溶解氧含量的光纤传感器。一种是基于
黑体空腔传感器以其良好的测温精度和稳定性,在液体温度测量中具有广阔的发展前景。但动态性能差制约了其应用,根本原因是传统黑体空腔由不透光材料制成,热量以热传导方式透过腔壁产生了热滞后。为此本课题提出了采用透光性材料制作黑体空腔的想法,腔外介质透过腔壁直接形成黑体空腔,从而实现快速测温。针对透光性黑体空腔,本文进行了如下研究:(1)半透明黑体空腔几何模型的建立。与不透明腔体的单层几何模型比,新型腔体由
矿产资源在经济发展和社会生活等方面起到了极其重要的作用。我国矿产资源丰富,但是人口基数大,人均资源少。为了响应国家可持续发展战略,保证经济持续有效增长,必须提高矿产资源的有效利用率。湿法冶金是目前一种主要的金属冶炼提取技术,该技术是利用某种溶剂与矿产中矿物元素发生的化学反应,通过浸出液来提取和分离矿产中有用金属的冶金过程。湿法冶金的显著优点是对金属的回收率高,工艺灵活性大和设备简单,相比于火法冶金
重金属污染是非常重要的水环境保护问题之一。作为重金属污染中毒性最大的元素汞(Hg)对人身体健康存在严重的威胁。为了保证水环境中Hg2+的含量在安全范围之内,研究检测准确、灵敏度高、使用方法简单及高效的Hg2+传感器就显得非常重要。目前常用的基于光谱法和电化学法的Hg2+传感器,大多数都存在着测量设备体积大、价格昂贵、测量过程复杂等缺点。而飞速发展的光纤传感技术有着抗电磁干扰、体积小、成本低等其他传
海洋占地球表面积的70%,海水盐度是海洋环境的重要指标之一。海水的盐度影响着海产品养殖、潜艇的海底作业以及海洋环境保护等重要方面。成熟的海洋盐度测量方法包括电导率法、超声波法、卫星探测法等,但是这些方法都只针对海水中的单点或者海水表层的盐度。海水分布式测量技术要求能够检测海水剖面的多个点盐度,传统测量方法很难实现。光纤具有抗电磁干扰、耐腐蚀、体积小和易于级联等优点,因此光纤传感在传感领域中的占据着
随着我国的工业化发展迅速,矿物资源不断的进行开发和利用,使得高品位矿石量迅速减少、资源供应压力增大、生产成本增加,形势变得愈来愈危急。浮选技术是近些年来逐渐兴起的一种方法,应用范围较为广泛且适应性强,可以使低品位的矿物资源进行有效的利用。由于我国对铜金属具有较大的需求量,因此及时准确的掌握铜浮选全流程运行状态,对精矿品位和经济效益的提高,具有重要的实际意义。本文提出了铜浮选过程运行状态在线评价及非