目前我国油用牡丹果实采摘作业多为人工采摘，机械化、智能化程度低。为了降低劳动强度，提高采摘效率，更好的推动油料作物的产业经济发展，本文对油用牡丹果实采摘机器人视觉系统中的硬件结构和软件算法进行深入地分析与研究，重点解决自动采摘机器人视觉系统的中的关键性技术问题。结合果实的发育过程以及果实自身形态纹理特征对牡丹果实识别定位、果实成熟度分类等问题进行研究，为研发智能油用牡丹果实采摘机器人提供核心理论与技术基础。　　1.采摘机器人视觉系统的建立。结合牡丹果实的生长环境和生长特点，构建了由PMD Camcuber3.0深度相机和Logitech C270彩色相机相结合的多源视觉系统，可获取彩色信息、幅度信息和深度信息。所设计的方案可弥补传统系统中对光线敏感、定位误差大、实时性不强等缺点。可为果实的识别、定位和成熟度判定提供依据。　　2.特征提取与匹配。针对彩色与深度相机的配准问题，提出利用彩色相机所采集的果实灰度图像和深度相机采集的果实幅度图像进行匹配的方法。利用SURF特征点描述检测算子分别提取果实灰度图像与强度图像中的特征点，并对在两幅图像中检测到的特征点对进行匹配，最后输出匹配后灰度图像和幅度图像。　　3.果实的识别和定位。在两相机拍摄的图片进行特征匹配的基础上，采用NDLT算法使分辨率不同的彩色图像和深度图像变换到相同位置，为果实的识别定位和成熟度分类奠定基础。分析油用牡丹果实深度图的颜色特征，提出一种基于G分量的油用牡丹果实分割方法，从而提取出感兴趣区域。结合圆度与矩特征，提出一种基于MLP的果实识别方法。在此基础上对识别出的果实区域求形心，同时根据实际果实形心位置进行对比分析，最终将果实区域形心作为采摘机器人机械臂的采摘作用位置。　　4.成熟度分类。设计一种基于MLP的油用牡丹果实成熟度分类器。对于三类成熟度（绿熟期，黄熟完熟期，枯熟期）的果实建立多层感知器模型，设置果实的颜色特征量和纹理特征量为MLP的输入量，其中选取R-G，R+G和H为颜色特征量区分绿熟期果实。提取果实表面裂开部分与未裂开部分纹理特征并设定面积阈值函数，从而区分黄熟期和完熟期果实。实验表明，所设计的MLP模型对油用牡丹果实的成熟度分类准确率高达91.68％。