对自然场景中的文本区域进行检测,是计算机视觉方面的一个重要应用,同时也为许多应用提供了一部分技术支持,如对视觉障碍者的计算机辅助系统、城市环境中的机器人导航系统、自动驾驶系统等等。目前对扫描文档的检测已经可以满足各种应用场景,但对于自然场景中的文本检测和识别,由于文本只占图像的一小部分,而且自然场景的背景较复杂,自然场景中的文本也有各种颜色、尺寸、形状的区别,同时还有光照、遮挡等因素的影响,因此是一项具有挑战意义的课题。目前针对自然场景文本的检测方法,大多是基于通用目标检测方法,并针对文本的特点进行了相应的改进。本文通过图像处理、模式分类、深度学习、序列处理等方法,对自然场景中的文本检测与识别的方法进行了如下研究,主要分为三个部分:(1)基于文字轮廓的自然场景文本检测方法,本文所提出的候选区域提取方法相较之前的提取方法,采用了基于多通道的弱约束的MSER方法,能够得到更多的候选区域。并在后续的识别工作中提出了将高置信度文本区域与低置信度文本区域相融合的方法,来进一步过滤非文本区域,并自然的将字符区域进行分组,结合成最终所需的文本行区域。定量的实验结果表明,该方法的检测速度优于其他基于笔划宽度等手工特征的检测方法,且由于提取到了大量的候选区域,其召回率也高于其他方法。(2)基于逐个像素的任意分布的自然场景文本检测方法,采用完全基于深度学习的方法对自然场景文本区域进行提取,提出了一个新的全卷积神经网络进行文本检测,采用基于文本中心线加文本宽度的方法,能够对各种文本区域,包含倾斜文本、弯曲文本区域进行检测。与其他方法相比,其检测结果基本优于以往在相同数据集上的结果,且能够更加精确的描述自然场景中的文本区域。(3)字符识别方法,采用了基于卷积神经网络和循环神经网络融合的网络结构,通过卷积神经网络提取二维图像的序列特征,然后将序列特征输入到循环神经网络中来得出对应位置的对应字符概率。该方法与之前的基于分割然后用神经网络进行字符分类的方法,减少了许多预处理和后处理操作,在速度上有所提升,同时对于自然场景中的文本识别,在精度提升十分明显。